当前位置:首页 > 智算网络技术 >
海胆统一数据存储平台(Urchin)
海胆统一数据存储平台提供hub框架库屏蔽数据集底层细节,开发者无感知进行任务训练;服务端提供必要的认证、配置下发、数据集管理等业务逻;结合云际系统主/分中心提供的数据集云存储网络。
特点:
- 支持丰富的接口,支持本地、s3规范云存储、自建主分中心等多种存储方式
- 更丰富的机器学习框架支持,tensorflow、pytorch、mindspore、paddlepaddle等
- 优化缓存策略提升数据集加载速度
- 优化数据加载shuffle策略以提升训练效果