数据存储
关于 GPUGEEK 存储方案有如下:
挂载目录 | 类型 | 权限/速度 | 说明 |
---|---|---|---|
/ | 实例系统盘 | 读写/最快 | 存放代码、项目、虚拟环境等,备份镜像会一起保存 |
/gz-data | 实例数据盘 | 读写/最快 | 存放数据集/模型,适合对IO有较高场景,备份镜像不保存 |
/gz-fs | 实例网盘 | 读写/一般 | 实现同数据中心且同一个账号下所有实例间数据共享 |
/gz-datasets | 公共数据集 | 只读/一般 | 公共训练数据集,需复制到 /gz-data/ 目录下再进行训练使用 |
/gz-models | 公共模型 | 只读/一般 | 公共模型数据,需复制到 /gz-data/ 目录下再进行推理使用 |
实例系统盘
实例系统盘为实例的 /
根目录空间,该目录使用服务器本地 NVME
盘,读写速度 IO
最快,该目录默认存储空间为 30GB
,可在 GPUGEEK控制台 进行查看使用率。
实例系统盘推荐存放 训练代码、项目、conda
、pip
等虚拟环境,不推荐将较大的训练数据或推理模型放置该目录中。
实例系统盘中的数据会跟随 【备份镜像】一起保存,以便在需要时进行恢复。
- 请不要将实例系统盘
/
根路径存放超过95%
,否则将会导致实例无法正常启动 - 有些项目训练数据默认保存路径为
/root
或/tmp
目录,请检查后修改到/gz-data
目录
实例数据盘
实例数据盘为实例的 /gz-data
目录,该目录同样使用服务器本地 NVME
盘,读写速度 IO
最快,该目录默认存储空间为 20GB
。
可在 GPUGEEK控制台 进行查看使用率,以及对应实例 -- 更多 -- 扩容数据盘 来进行对该目录扩容来满足需求。
实例数据盘推荐存放 数据集、模型等较大数据,因实例数据可扩容,而实例系统盘无法扩容,所以建议将大数据存储至数据数据盘中。
实例数据盘中的数据不会跟随【备份镜像】一起保存,因此如果实例被删除或需要重建,数据盘上的数据会丢失。
实例网盘
实例网盘为实例的 /gz-fs
目录,该目录为实例同一个数据中心的分布式存储,对于较大的文件或者压缩文件有着不错的读写性能,但对于上十万、上百万的零散小文件读写速度会显的有些逊色。
/gz-fs
目录适合实例关机或者实例释放前,将所需要的数据备份至该目录进行长期存储。
/gz-fs
实例网盘不同的数据中心有着不同的网盘存储,跨数据中心的网盘数据不互通。
同一个账号同一个数据中心下创建的多个实例会同时挂载 /gz-fs
目录并进行共享,可用于同一个账号下的多个实例间数据共享、数据备份等。
可在控制台中 网盘存储 来查看、上传网盘中的数据。
公共数据集
公共数据集在实例的 /gz-datasets
。
该目录为 GPUGEEK 平台官方运营人员所进行收集并放置到该目录中,该目录在实例中允许只读。
如该目录有您所需要的数据集,需复制数据集到 /gz-data
目录后再进行训练使用,直接读取 /gz-datasets
目录中的数据集可能会影响您的训练进度,如该情况发生,平台并不为此所承担任何责任。
如果该目录中没有您所需要的数据集,可 提交工单 申请添加数据集,工作人员将会在3-5个工作日内进行处理。
公共模型
公共模型在实例的 /gz-models
目录。
该目录为 GPUGEEK 平台官方运营人员所进行收集并放置到该目录中,该目录在实例中允许只读。
如该目录有您所需要的模型,需复制数据集到 /gz-data
目录后再进行推理使用,直接读取 /gz-models
目录中的模型可能会影响您的训练进度,如该情况发生,平台并不为此所承担任何责任。
如果该目录中没有您所需要的模型,可 提交工单 申请添加模型,工作人员将会在3-5个工作日内进行处理。