Windowsで記憶域プール上にNTFSの仮想ディスクを作る時は、NTFSのクラスタサイズ（アロケーションユニットサイズ）をよーく考える事。思わぬところでNTFSの最大容量制限に引っかかることになる。

NTFSは最大クラスタ数の制限から、1ボリュームあたりの最大容量が下表のようにクラスタサイズによって決定される。

昔から変わらず、2020-02-18現在、NTFSの標準クラスタサイズは4KBとなっているため、何もしないとNTFSの1ボリューム≒1パーティションの最大サイズは16TBとなる。

一般的な使い方ならそれでも十分だろうが、容量拡張が容易な記憶域プールの場合、いとも簡単にこの最大ボリュームサイズ制限に引っかかってしまう。クラスタサイズは後から変更できないので、仮想ディスク上のNTFSを拡張しようと記憶域プールの容量を増やし、仮想ディスクを拡張し、いよいよNTFSのパーティションを拡張だぜ！って段階で16TB制限に遭遇することとなり、マジ真顔状態。ありえねーよほんと……

16TBのHDDがふつーに変えてしまう昨今、やろうと思えばその辺のマザボですら16TB×8本で128TBの記憶域プールが作れてしまう。そう考えると、記憶域プールに作るNTFSのクラスタサイズは64KBにする、と馬鹿の一つ覚え的に対処してしまってもいいのかもしれない。あるいはNTFSを捨ててReFSに行ってしまうか。

あー、10TBのデータをバックアップから復元するのめんどくせー。

Nintendo Switch用にトランセンドのmicroSDXC TS256GUSD300S-Aを買った。税込み4580円。シリアル番号で保証期間が表示されたので正規品だと思われる。

Switchで使う前にCheck Flashで喝入れ、SD Formatterで上書きフォーマットし、CrystalDiskMarkでベンチしてみた。USB 3.0接続のカードリーダーでの結果でござる。

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q=  8, T= 1):    93.954 MB/s [     89.6 IOPS] < 88429.49 us>
Sequential 1MiB (Q=  1, T= 1):    93.332 MB/s [     89.0 IOPS] < 11211.36 us>
    Random 4KiB (Q= 32, T=16):     6.323 MB/s [   1543.7 IOPS] <258114.41 us>
    Random 4KiB (Q=  1, T= 1):     6.099 MB/s [   1489.0 IOPS] <   670.86 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):    53.682 MB/s [     51.2 IOPS] <150429.74 us>
Sequential 1MiB (Q=  1, T= 1):    53.275 MB/s [     50.8 IOPS] < 19516.58 us>
    Random 4KiB (Q= 32, T=16):     3.240 MB/s [    791.0 IOPS] <185034.42 us>
    Random 4KiB (Q=  1, T= 1):     3.246 MB/s [    792.5 IOPS] <  1260.52 us>

Profile: Default
   Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
   Date: 2019/12/08 18:56:23
     OS: Windows 10 Professional [10.0 Build 18362] (x64)
Comment: Transcend TS256GUSD300S-A (microSDXC/256GB)

値段なりの順当な結果かなと。ついでにSD Card Formatterでの初期化結果は↓こんな感じだった。

SAMSUNGのエンタープライズ向けSSD、PM983シリーズの960GBモデルMZQLB960HAJR-00007がやってきた。宅内ネットワークの40GbE化により、サーバのストレージがSATAのSSDでは物足りなくなったため、うっかりポチってしまった。

速度的には最近のM.2なSSDの方が速かったりするんだけど、少しくらい遅くてもエンプラ向けの高信頼品が欲しかったのですよ。で、eBay見てたら販売店テスト済みの中古品が1万円弱だったので2台買っちゃった。PM963, PM953あたりなら同価格で新古品がそこそこ出回ってるようだが、中古とはいえPM983が1万円はなかなかのお買い得品。スペックは以下の通り。

• シーケンシャル
  • Read 3000MB/s
  • Write 1050MB/s
• ランダム
  • Read 400000 IOPS
  • Write 40000 IOPS
• 1.3 DWPD (TBW=1366TB)
• TLC (3bit MLC VNAND)

9/2に注文して受け取れたのは9/14。届いたモノは、綺麗な外観の書き込み量は1TB弱で、中古としては上々と言える。

1GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:03:59 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2569.63 MB/s Write: 1294.86 MB/s ------------------------------ 4K: ------------------------------ Read: 41.92 MB/s Write: 113.66 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 1365.31 MB/s Write: 1254.64 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.036 ms Write: 0.034 ms ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:22 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 160.60 iops Write: 80.93 iops ------------------------------ 4K: ------------------------------ Read: 10731 iops Write: 29098 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 349520 iops Write: 321189 iops ------------------------------ 512B ------------------------------ Read: 27858 iops Write: 29645 iops ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------
10GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:08 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2857.39 MB/s Write: 1275.96 MB/s ------------------------------ 4K: ------------------------------ Read: 41.43 MB/s Write: 114.74 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 955.91 MB/s Write: 687.14 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.038 ms Write: 0.344 ms ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:43 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 178.59 iops Write: 79.75 iops ------------------------------ 4K: ------------------------------ Read: 10607 iops Write: 29373 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 244714 iops Write: 175909 iops ------------------------------ 512B ------------------------------ Read: 26622 iops Write: 2910 iops ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------

搭載キャッシュ容量は不明。

Crystal Disk Markを何度か試した限り、テストサイズ1GiBの時は測定のブレも少なく安定した結果が得られるが、32GiBでは特に書き込み速度で測定結果のバラつきが見られた。恐らくキャッシュ溢れの影響だと思われる。ワーストケースでは4K1Tで60MB/sまで低下するのを確認している。

ちなみに、PCIe 2.0x4で接続した場合は↓こんな感じ。

当初、PCIe 2.0スロットに挿してたのに気付かず「Sequential Read: (960GB) Up to 3000 MB/sって書いてあったけどこんなもんか…」と思ったのは内緒。

Windowsの記憶域階層について調べてたら、MSの中の人が書いたUnderstand Storage Space Tiering in Windows Server 2012 R2がとても分かりやすかった。Windows Server 2000 R2時代のものだけど、今でも通じる内容でしょう多分。記憶域階層使おうとしてる人は一読しといた方がいいと思う。

元記事の焼き直しでしかないが、気になったことをメモっておく。

• 記憶域階層に入ってくるデータは、まずはSSD層に満杯になるまで書き込まれる。
• SSD層が満杯になると、ランダムライトはSSD層内に予め確保されているライトバックキャッシュの方に書き込まれる。
• ライトバックキャッシュも一杯になると、HDD層の方に書き込まれると共にライトバックキャッシュのHDD層へのフラッシュが行われる。
• ライトバックキャッシュが空けば、ランダムライトは再びキャッシュの方に書き込まれる。

ここでのライトバックキャッシュとは、記憶域階層が持っている機能を指している。仮想ディスク毎にSSD層に確保される領域で、標準では1GBだがNew-VirtualDiskコマンドレットの引数-WriteCacheSizeで任意の容量を指定できる。前述の通り、SSD層が埋まらないとライトバックキャッシュは使われないため、あまり大きな領域を確保しても無駄だと思われる。

自分はてっきり、ライトバックキャッシュという名前の通り、その領域分が書き込み全般のキャッシュとして使われると思っていた。Crystal Disk Markでキャッシュサイズを超えるテストサイズでベンチ回しても速度が全く落ちずに不思議だったが、なるほどSSD層全体がキャッシュとして使われてたとはね。

読み込みの方は明確な説明がないので間違ってるかも…。

• SSD層にあるデータはSSD層から読まれる。
• SSD層にないデータはHDD層から読まれる。
• 毎日の記憶域階層最適化によりSSD層とHDD層でデータの入れ替えが行われ、よく使われるデータはサブファイル単位でSSD層に配置される。

自分はZFSしか知らんのでZFSとの比較になっちゃうけど、読み込みキャッシュの方は割と慎ましい挙動のように思う。記憶域階層最適化のサブファイル単位というのは、1MBブロック単位らしい。

これらの挙動から分かる通り、記憶域階層ではSSD層が酷使されるため、相応のSSDと相応のデータ保護手段を用いた運用にしないとトラブりそう。SSD層が死んだ場合に、記憶域スペース/仮想ディスクがどうなるかは未確認＆情報がない…。仕組み的にはSSD層にあるデータが死ぬだけで済みそうに思うんだけど、どうだかなー。現状、一旦記憶域階層として作ったが最後、後からSSD層を取り外す事もできないしなー。

• Understand Storage Space Tiering in Windows Server 2012 R2 – Larryexchange Blog
• The Effects Of WS2012 R2 Storage Spaces Write-Back Cache | Aidan Finn, IT Pro

Windows Storage Server 2016の記憶域階層上に作成したCIFSな共有フォルダに別マシンからファイルを書き込むと、途中で処理が止まったようになり、当該フォルダを開くのですら超絶時間が掛かるようになる問題に遭遇中。なんとなく、SSD層が一杯になったタイミングで発生してるような気がするけど、有効な解決策は未だ見つけられず…。

記憶域階層は以下のような構成。

• SSD層
  • Intel DC S3500 240GB×2 (RAID-0)
• HDD層
  • 8TB 7200RPM SATA×6（HDD×2のミラーリングが3セットのRAID-10）

いずれもハードウェアRAIDカードで仮想ドライブになってるので、記憶域からはSSDとHDDが1台ずつ見えてる感じ（ま、この構成自体がそもそも非推奨なんだけど。）

そこに1KB～4GBの96ファイル計25.2GBをコピーすると、最初は順調なのに途中でパタリと処理が止まる。タスクマネージャを見ると「記憶域階層管理」なるものが動いているので、おそらくSSDが一杯になってHDDへのデータ移動が行われているのだろう。

でもって、リソースモニタでディスクの状態を見てみると、処理対象のファイルの応答時間がなんと1000ミリ秒を超えているじゃーありませんか。キューもめっちゃ溜まってるし（順調に処理が行われてる時は1未満。多くても3～4ってとこ。）データ移動待ちにしては、流石にレイテンシ長すぎじゃないですかね…。

実際の操作感としては、SSDに一定の空きができるまでファイルI/Oがブロックされてるような感じ。MSの中の人によれば、SSD層が一杯になるとIOPSが劇的に下がる──といってもHDD層相当の性能は出るんだけど(記事中のTest Case 1: Write to Used Storage Spaceらへん)、処理が完全に止まってしまうような感じになならなさそう。

ネットに上がってる記憶域階層の使用例は殆どがHyper-Vがらみなので、ファイルサーバ向けに記憶域階層を使うってのがそもそもの間違いなのかしら？そうは言っても、使用頻度の高いデータをSSD層において高速化するって場面は、FSでもふつーにありそうな感じがするんだけどなぁ…。

Sambaだと大量のファイルの扱いに難あり、ってところからCIFSの純正実装なら安心だろうってことでWindows Serverを選択したのに、トホホですよ本当。僕たちの調査の旅はこれからだ…！

(2018-08-16 追記)

何の役にも立たないと（僕の中で）名高いMSKKのフォーラムに同様の報告があった→記憶域スペースで階層化構築時における急激なパフォーマンス低下について。いつものごとく箸にも棒にもかからない回答で乾いた笑いしか出ないわけですが。