儲存空間¶
儲存空間(Persistent Volume Claims,PVC)為您的程式碼、資料集和模型提供持久化的磁碟空間,不受工作區生命週期影響。
適用對象: 所有使用者(個人儲存)、群組成員(群組儲存)。
儲存類型¶
graph LR
A[個人儲存] -->|掛載到| C[工作區 Pod]
B[群組儲存] -->|掛載到| C
A --- D["僅自己可用"]
B --- E["群組成員共用"]
| 類型 | 擁有者 | 存取範圍 | 生命週期 |
|---|---|---|---|
| 個人儲存 | 您 | 僅限您的工作區 | 帳號存續期間 |
| 群組儲存 | 群組 | 群組所有成員的工作區 | 群組存續期間 |
儲存列表¶
圖 1:儲存列表頁面,分別顯示個人儲存和群組儲存及其使用量。
導航至左側選單的 儲存,您將看到:
- 個人 標籤 — 您的個人 PVC(通常在帳號建立時自動配置)
- 群組 標籤 — 您所屬群組的共用 PVC
每一列顯示:
- PVC 名稱
- 已使用 / 總容量(如:12 GiB / 50 GiB)
- 狀態(已綁定 / 待處理)
- 關聯的群組(群組儲存)或「個人」標記
瀏覽檔案¶
圖 2:內建檔案瀏覽器,支援上傳、下載和刪除操作。
點擊 PVC 名稱可開啟內建檔案瀏覽器:
- 上傳 — 從本機上傳檔案到 PVC
- 下載 — 將檔案下載到本機
- 建立資料夾 — 建立新的子目錄
- 刪除 — 刪除檔案或資料夾(不可復原)
大型上傳
對於超過 500 MB 的檔案,建議在工作區中使用 wget、curl 或 rclone 直接下載,而非透過瀏覽器上傳。瀏覽器上傳受到 Nginx 請求體大小限制和瀏覽器超時的限制。
在工作區中掛載儲存¶
啟動工作區時,使用儲存選擇器選取一個或多個 PVC:
- 在「新增工作區」表單中,展開 儲存 區塊。
- 點擊 + 新增掛載。
- 選擇一個 PVC(個人或群組皆可)。
- 設定 掛載路徑(如
/data、/shared)。 - 如有需要,重複步驟新增更多掛載。
在工作區中,掛載路徑的表現就像一般的目錄。
儲存 Profile 與通道¶
管理員或群組管理員建立 PVC 時,會選擇一個 Storage Profile,背後對應到具體的 storage class 與 lane。每個 lane 針對不同的工作型態調校。
| Profile | 後端 | Lane | 適用情境 |
|---|---|---|---|
| JuiceFS RWX | JuiceFS over object storage | shared-rwx |
多節點共享的資料集與 checkpoint |
| Legacy RWX | NFS / 既有共享儲存 | legacy-rwx |
已存在於舊有共享儲存上的資料 |
| Longhorn (Fast RWO) | Longhorn 區塊儲存 | fast-rwo |
單一 Pod 的熱 scratch——讀寫最快 |
| Default | 叢集預設 | 視情況 | 由平台依群組策略決定 |
profile 選單會顯示每個選項的可用性與建議用途;不可用的選項會以灰色顯示並列出原因。
模型訓練儲存建議¶
在 gpu1、gpu2、gpu3 上進行模型訓練時,管理員可為群組配置 juicefs-gpu23-rwx。這是跨節點共享資料集、checkpoint 和最終成果的建議路徑。
對 checkpoint 密集的訓練,建議使用:
| 路徑 | 儲存 | 用途 |
|---|---|---|
/datasets |
JuiceFS 群組 RWX | 多節點共享的訓練資料 |
/checkpoints |
JuiceFS 群組 RWX | 可恢復訓練狀態 |
/scratch |
快速 job-local RWO | 單一工作期間的熱資料 |
訓練結束後再把 final artifacts 從 scratch 同步回 JuiceFS。這樣可利用節點本機快取提升重複讀取,同時降低共享寫入壓力。
Fast-Stage 快取¶
Fast-stage 把資料從群組 RWX 磁區暫存到專案本機的 Fast RWO PVC,讓單一訓練 job 能以節點本機速度讀取,不必直接打共享檔案系統。
- 在專案的 儲存 標籤中,點擊已綁定 RWX 磁區旁的 Data Path。
- 在彈出視窗中選 Fast-stage Cache。
- 填寫表單:
| 欄位 | 說明 |
|---|---|
| 目標 Namespace | 建立 fast PVC 的位置(預設為您的專案 namespace) |
| Fast PVC 名稱 | DNS-safe 名稱,預設為 fast-<source-pvc> |
| Fast 容量(Gi) | 不可小於原始 PVC 容量 |
| Checksum 模式 | 預設 Size + mtime;嚴格驗證可選 SHA-256,或選 None 跳過檢查 |
- 點擊 Start Fast Stage,平台會啟動一次性 Job 完成複製並回報狀態。
把成果同步回去
Fast-stage 設計成熱讀快取。訓練結束後請把最終 artifact 寫回共享 RWX 磁區——fast PVC 是專案私有的,群組其他成員看不到。
權限與存取控制¶
| 場景 | 行為 |
|---|---|
| 個人 PVC 於自己的工作區 | 完整讀寫權限 |
| 群組 PVC——成員擁有讀寫權限 | 完整讀寫權限 |
| 群組 PVC——成員僅有唯讀權限 | 不允許寫入;touch 或 mkdir 命令會失敗 |
| 其他使用者的個人 PVC | 無法掛載——PVC 僅對擁有者可見 |
群組管理員在群組詳情的儲存標籤中,為每位成員設定讀寫或唯讀存取權限。
申請額外儲存空間¶
如果您的配額不足:
- 前往 申請 頁面。
- 選擇 儲存配額提升 類型。
- 填寫需要的容量和原因。
- 提交——管理員將審核您的申請。
常見問題¶
我的 PVC 顯示已滿,但我找不到大檔案。
使用工作區終端機執行 du -sh /data/* 找出佔用空間的項目。常見原因包括隱藏資料夾(.cache、.local)或大型 Jupyter 檢查點檔案。
刪除工作區後我的資料還在嗎?
是的。PVC 獨立於工作區之外。只有明確刪除 PVC 或管理員回收配額時,資料才會丟失。
我可以在多個工作區同時掛載同一個 PVC 嗎?
可以,前提是底層儲存類別支援 ReadWriteMany(RWX)。大多數叢集配置的 NFS 型 PVC 支援此功能。請查看儲存詳情頁面的存取模式。