Nintendo Switch用にトランセンドのmicroSDXC TS256GUSD300S-Aを買った。税込み4580円。シリアル番号で保証期間が表示されたので正規品だと思われる。

Switchで使う前にCheck Flashで喝入れ、SD Formatterで上書きフォーマットし、CrystalDiskMarkでベンチしてみた。USB 3.0接続のカードリーダーでの結果でござる。

------------------------------------------------------------------------------
CrystalDiskMark 7.0.0 x64 (C) 2007-2019 hiyohiyo
                                  Crystal Dew World: https://crystalmark.info/
------------------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

[Read]
Sequential 1MiB (Q=  8, T= 1):    93.954 MB/s [     89.6 IOPS] < 88429.49 us>
Sequential 1MiB (Q=  1, T= 1):    93.332 MB/s [     89.0 IOPS] < 11211.36 us>
    Random 4KiB (Q= 32, T=16):     6.323 MB/s [   1543.7 IOPS] <258114.41 us>
    Random 4KiB (Q=  1, T= 1):     6.099 MB/s [   1489.0 IOPS] <   670.86 us>

[Write]
Sequential 1MiB (Q=  8, T= 1):    53.682 MB/s [     51.2 IOPS] <150429.74 us>
Sequential 1MiB (Q=  1, T= 1):    53.275 MB/s [     50.8 IOPS] < 19516.58 us>
    Random 4KiB (Q= 32, T=16):     3.240 MB/s [    791.0 IOPS] <185034.42 us>
    Random 4KiB (Q=  1, T= 1):     3.246 MB/s [    792.5 IOPS] <  1260.52 us>

Profile: Default
   Test: 1 GiB (x5) [Interval: 5 sec] <DefaultAffinity=DISABLED>
   Date: 2019/12/08 18:56:23
     OS: Windows 10 Professional [10.0 Build 18362] (x64)
Comment: Transcend TS256GUSD300S-A (microSDXC/256GB)

値段なりの順当な結果かなと。ついでにSD Card Formatterでの初期化結果は↓こんな感じだった。

SAMSUNGのエンタープライズ向けSSD、PM983シリーズの960GBモデルMZQLB960HAJR-00007がやってきた。宅内ネットワークの40GbE化により、サーバのストレージがSATAのSSDでは物足りなくなったため、うっかりポチってしまった。

速度的には最近のM.2なSSDの方が速かったりするんだけど、少しくらい遅くてもエンプラ向けの高信頼品が欲しかったのですよ。で、eBay見てたら販売店テスト済みの中古品が1万円弱だったので2台買っちゃった。PM963, PM953あたりなら同価格で新古品がそこそこ出回ってるようだが、中古とはいえPM983が1万円はなかなかのお買い得品。スペックは以下の通り。

• シーケンシャル
  • Read 3000MB/s
  • Write 1050MB/s
• ランダム
  • Read 400000 IOPS
  • Write 40000 IOPS
• 1.3 DWPD (TBW=1366TB)
• TLC (3bit MLC VNAND)

9/2に注文して受け取れたのは9/14。届いたモノは、綺麗な外観の書き込み量は1TB弱で、中古としては上々と言える。

1GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:03:59 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2569.63 MB/s Write: 1294.86 MB/s ------------------------------ 4K: ------------------------------ Read: 41.92 MB/s Write: 113.66 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 1365.31 MB/s Write: 1254.64 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.036 ms Write: 0.034 ms ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:22 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 160.60 iops Write: 80.93 iops ------------------------------ 4K: ------------------------------ Read: 10731 iops Write: 29098 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 349520 iops Write: 321189 iops ------------------------------ 512B ------------------------------ Read: 27858 iops Write: 29645 iops ------------------------------ Score: ------------------------------ Read: 1664 Write: 1498 Total: 3951 ------------------------------
10GB		AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:08 Note: MZQLB960HAJR-00007 ------------------------------ Sequential: ------------------------------ Read: 2857.39 MB/s Write: 1275.96 MB/s ------------------------------ 4K: ------------------------------ Read: 41.43 MB/s Write: 114.74 MB/s ------------------------------ 4K-64Threads: ------------------------------ Read: 955.91 MB/s Write: 687.14 MB/s ------------------------------ Access Times: ------------------------------ Read: 0.038 ms Write: 0.344 ms ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------	AS SSD Benchmark 2.0.6485.19676 ------------------------------ Name: SAMSUNG MZQLB960HAJR-00007 Firmware: EDA5202Q Controller: stornvme Offset: 16384 K - OK Size: 894.25 GB Date: 2019/09/15 22:04:43 Note: MZQLB960HAJR-00007 ------------------------------ 16MB ------------------------------ Read: 178.59 iops Write: 79.75 iops ------------------------------ 4K: ------------------------------ Read: 10607 iops Write: 29373 iops ------------------------------ 4K-64Threads: ------------------------------ Read: 244714 iops Write: 175909 iops ------------------------------ 512B ------------------------------ Read: 26622 iops Write: 2910 iops ------------------------------ Score: ------------------------------ Read: 1283 Write: 929 Total: 2796 ------------------------------

搭載キャッシュ容量は不明。

Crystal Disk Markを何度か試した限り、テストサイズ1GiBの時は測定のブレも少なく安定した結果が得られるが、32GiBでは特に書き込み速度で測定結果のバラつきが見られた。恐らくキャッシュ溢れの影響だと思われる。ワーストケースでは4K1Tで60MB/sまで低下するのを確認している。

ちなみに、PCIe 2.0x4で接続した場合は↓こんな感じ。

当初、PCIe 2.0スロットに挿してたのに気付かず「Sequential Read: (960GB) Up to 3000 MB/sって書いてあったけどこんなもんか…」と思ったのは内緒。

Windowsの記憶域階層について調べてたら、MSの中の人が書いたUnderstand Storage Space Tiering in Windows Server 2012 R2がとても分かりやすかった。Windows Server 2000 R2時代のものだけど、今でも通じる内容でしょう多分。記憶域階層使おうとしてる人は一読しといた方がいいと思う。

元記事の焼き直しでしかないが、気になったことをメモっておく。

• 記憶域階層に入ってくるデータは、まずはSSD層に満杯になるまで書き込まれる。
• SSD層が満杯になると、ランダムライトはSSD層内に予め確保されているライトバックキャッシュの方に書き込まれる。
• ライトバックキャッシュも一杯になると、HDD層の方に書き込まれると共にライトバックキャッシュのHDD層へのフラッシュが行われる。
• ライトバックキャッシュが空けば、ランダムライトは再びキャッシュの方に書き込まれる。

ここでのライトバックキャッシュとは、記憶域階層が持っている機能を指している。仮想ディスク毎にSSD層に確保される領域で、標準では1GBだがNew-VirtualDiskコマンドレットの引数-WriteCacheSizeで任意の容量を指定できる。前述の通り、SSD層が埋まらないとライトバックキャッシュは使われないため、あまり大きな領域を確保しても無駄だと思われる。

自分はてっきり、ライトバックキャッシュという名前の通り、その領域分が書き込み全般のキャッシュとして使われると思っていた。Crystal Disk Markでキャッシュサイズを超えるテストサイズでベンチ回しても速度が全く落ちずに不思議だったが、なるほどSSD層全体がキャッシュとして使われてたとはね。

読み込みの方は明確な説明がないので間違ってるかも…。

• SSD層にあるデータはSSD層から読まれる。
• SSD層にないデータはHDD層から読まれる。
• 毎日の記憶域階層最適化によりSSD層とHDD層でデータの入れ替えが行われ、よく使われるデータはサブファイル単位でSSD層に配置される。

自分はZFSしか知らんのでZFSとの比較になっちゃうけど、読み込みキャッシュの方は割と慎ましい挙動のように思う。記憶域階層最適化のサブファイル単位というのは、1MBブロック単位らしい。

これらの挙動から分かる通り、記憶域階層ではSSD層が酷使されるため、相応のSSDと相応のデータ保護手段を用いた運用にしないとトラブりそう。SSD層が死んだ場合に、記憶域スペース/仮想ディスクがどうなるかは未確認＆情報がない…。仕組み的にはSSD層にあるデータが死ぬだけで済みそうに思うんだけど、どうだかなー。現状、一旦記憶域階層として作ったが最後、後からSSD層を取り外す事もできないしなー。

• Understand Storage Space Tiering in Windows Server 2012 R2 – Larryexchange Blog
• The Effects Of WS2012 R2 Storage Spaces Write-Back Cache | Aidan Finn, IT Pro

Windows Storage Server 2016の記憶域階層上に作成したCIFSな共有フォルダに別マシンからファイルを書き込むと、途中で処理が止まったようになり、当該フォルダを開くのですら超絶時間が掛かるようになる問題に遭遇中。なんとなく、SSD層が一杯になったタイミングで発生してるような気がするけど、有効な解決策は未だ見つけられず…。

記憶域階層は以下のような構成。

• SSD層
  • Intel DC S3500 240GB×2 (RAID-0)
• HDD層
  • 8TB 7200RPM SATA×6（HDD×2のミラーリングが3セットのRAID-10）

いずれもハードウェアRAIDカードで仮想ドライブになってるので、記憶域からはSSDとHDDが1台ずつ見えてる感じ（ま、この構成自体がそもそも非推奨なんだけど。）

そこに1KB～4GBの96ファイル計25.2GBをコピーすると、最初は順調なのに途中でパタリと処理が止まる。タスクマネージャを見ると「記憶域階層管理」なるものが動いているので、おそらくSSDが一杯になってHDDへのデータ移動が行われているのだろう。

でもって、リソースモニタでディスクの状態を見てみると、処理対象のファイルの応答時間がなんと1000ミリ秒を超えているじゃーありませんか。キューもめっちゃ溜まってるし（順調に処理が行われてる時は1未満。多くても3～4ってとこ。）データ移動待ちにしては、流石にレイテンシ長すぎじゃないですかね…。

実際の操作感としては、SSDに一定の空きができるまでファイルI/Oがブロックされてるような感じ。MSの中の人によれば、SSD層が一杯になるとIOPSが劇的に下がる──といってもHDD層相当の性能は出るんだけど(記事中のTest Case 1: Write to Used Storage Spaceらへん)、処理が完全に止まってしまうような感じになならなさそう。

ネットに上がってる記憶域階層の使用例は殆どがHyper-Vがらみなので、ファイルサーバ向けに記憶域階層を使うってのがそもそもの間違いなのかしら？そうは言っても、使用頻度の高いデータをSSD層において高速化するって場面は、FSでもふつーにありそうな感じがするんだけどなぁ…。

Sambaだと大量のファイルの扱いに難あり、ってところからCIFSの純正実装なら安心だろうってことでWindows Serverを選択したのに、トホホですよ本当。僕たちの調査の旅はこれからだ…！

(2018-08-16 追記)

何の役にも立たないと（僕の中で）名高いMSKKのフォーラムに同様の報告があった→記憶域スペースで階層化構築時における急激なパフォーマンス低下について。いつものごとく箸にも棒にもかからない回答で乾いた笑いしか出ないわけですが。

これまでSSDはIntel DCシリーズを買ってきたが、今回はTOSHIBAの読み出し重視型エンタープライズ向けSSD THNSNJ960PCSZを買ってみた。例によって例によって中古。新品じゃ高くて買えませんからね。それでもっていつものごとくベンチ。今回もSATA接続。

-----------------------------------------------------------------------
CrystalDiskMark 6.0.0 x64 (C) 2007-2017 hiyohiyo
                          Crystal Dew World : https://crystalmark.info/
-----------------------------------------------------------------------
* MB/s = 1,000,000 bytes/s [SATA/600 = 600,000,000 bytes/s]
* KB = 1000 bytes, KiB = 1024 bytes

   Sequential Read (Q= 32,T= 1) :   552.067 MB/s
  Sequential Write (Q= 32,T= 1) :   519.592 MB/s
  Random Read 4KiB (Q=  8,T= 8) :   377.485 MB/s [  92159.4 IOPS]
 Random Write 4KiB (Q=  8,T= 8) :   353.540 MB/s [  86313.5 IOPS]
  Random Read 4KiB (Q= 32,T= 1) :   269.954 MB/s [  65906.7 IOPS]
 Random Write 4KiB (Q= 32,T= 1) :   231.575 MB/s [  56536.9 IOPS]
  Random Read 4KiB (Q=  1,T= 1) :    35.232 MB/s [   8601.6 IOPS]
 Random Write 4KiB (Q=  1,T= 1) :    91.411 MB/s [  22317.1 IOPS]

  Test : 4096 MiB [D: 0.0% (0.2/894.3 GiB)] (x5)  [Interval=5 sec]
  Date : 2018/04/26 22:49:50
    OS : Windows 10 Professional [10.0 Build 16299] (x64)
    TOSHIBA THNSNJ960PCSZ

ベンチ結果もS.M.A.R.T.情報も取り立てて何かあるという事もなく。強いて言えば、総読込量より総書込量が圧倒的に多いことくらい。この使い方ならHK3Eシリーズの方が合ってるんじゃねー？＞前のオーナー。まぁ、このくらいの使い方ならどっちでも変わらんだろうけどさ。

THNSNJ960PCSZの耐久性はと言うと、1 DWPD¹⁾──つまり定格寿命たる5年間、毎日1回ドライブ全体に書き込むとTBWに達するということだから5×365×960＝1752000GB、つまりTBWは1.752PBである。公称耐久性はDC S3500以上、S3700未満ということになる。そう考えるとDC S3700シリーズの10 DWPDって半端ない耐久性だよなぁ…。東芝のSSDでいえば書き込み重視型のPXシリーズが同等ラインっぽい。

主に自宅鯖の仮想マシン置き場として使う予定。取り付けたら何故かアクセスランプが点きっぱなしなんだけど…ｗ