跳到主要内容

文件系统概述

系统的物理存储包含服务器上，480G SSD （两块 RAID 1，可用容量 480G）。和通过 Fiber Channel 连接的 ME4012 存储阵列 （12 块（192 T）RAID 5，可用容量 160 T）。

因为用户只能通过 JupyterHub 或 File Browser（需要申请使用权限）访问文件目录，所以目前文件的存储采用分层设计。包括挂载在 SSD 上的工作目录。和挂载在存储阵列上的冷存储目录和共享共用目录。因为资源有限，所有的文件将挂载在存储阵列中。

./ (根目录文件夹)
├──  public/ (公共数据集、软件包存放点)
├──  shared/ (个人数据存储点，其他人也能访问到，请自行以自己名字命名的文件夹)
├──  work/ (个人数据存储点，只能帐号的用户能访问到，可以考虑定期迁移到 shared 中)
├──  使用介绍.md* （只读文件）
└──  其他个人文件 ...
注意

大文件存取和操作请不要直接使用 JupyterLab 网页 UI 上的文件管理器，移动大文件时因为占用内存过多会堵塞整个服务器的事物造成服务不可用。有移动大文件的需求，请使用在命令行使用 mv 指令，或使用 File Browser

性能测试​

hdparm​

  • SSD 
/dev/mapper/ubuntu--vg-ubuntu--lv:
 Timing cached reads:   18358 MB in  2.00 seconds = 9190.99 MB/sec
 Timing buffered disk reads: 2156 MB in  3.00 seconds = 718.00 MB/sec
  • 阵列（HDD）
/dev/mapper/mpatha-part1:
 Timing cached reads:   18896 MB in  2.00 seconds = 9460.82 MB/sec
 Timing buffered disk reads: 4108 MB in  3.00 seconds = 1368.92 MB/sec

fio​

  • 混合随机读写 SSD
READ: bw=1186MiB/s (1243MB/s), 1186MiB/s-1186MiB/s (1243MB/s-1243MB/s), io=14.0GiB (15.0GB), run=12088-12088msec
  WRITE: bw=509MiB/s (533MB/s), 509MiB/s-509MiB/s (533MB/s-533MB/s), io=6149MiB (6447MB), run=12088-12088msec

Disk stats (read/write):
    dm-0: ios=911176/391956, merge=0/0, ticks=83828/24488, in_queue=108316, util=99.31%, aggrios=917205/393886, aggrmerge=5/807, aggrticks=84741/24759, aggrin_queue=109500, aggrutil=99.16%
  sda: ios=917205/393886, merge=5/807, ticks=84741/24759, in_queue=109500, util=99.16%
  • 混合随机读写 阵列（HDD）
READ: bw=33.0MiB/s (34.6MB/s), 33.0MiB/s-33.0MiB/s (34.6MB/s-34.6MB/s), io=1998MiB (2095MB), run=60484-60484msec
  WRITE: bw=14.1MiB/s (14.8MB/s), 14.1MiB/s-14.1MiB/s (14.8MB/s-14.8MB/s), io=855MiB (897MB), run=60484-60484msec

Disk stats (read/write):
    dm-2: ios=127885/54819, merge=0/0, ticks=574860/21808, in_queue=596668, util=99.20%, aggrios=255770/109568, aggrmerge=0/29, aggrticks=1151571/44080, aggrin_queue=1195656, aggrutil=99.31%
    dm-1: ios=255770/109568, merge=0/29, ticks=1151571/44080, in_queue=1195656, util=99.31%, aggrios=19/0, aggrmerge=0/0, aggrticks=2/0, aggrin_queue=2, aggrutil=0.12%
  sdb: ios=32/0, merge=0/0, ticks=5/0, in_queue=5, util=0.12%
  sdc: ios=6/0, merge=0/0, ticks=0/0, in_queue=0, util=0.02%