検索条件
TOSHIBA MQ04ABD200
が2年ちょっとで3台故障した。
用途はバックアップで、ハードな使い方をしていない。
動画ファイルを定期的に移動して長期保存しているのみ。
すべて使用開始1年内。
一般に、HDDの初期不良率は5%以下と聞く。
また、初期不良を乗り越えての1年内故障率は決して高くないはず。
それ以外にも2023~2024年頃に、
Seagate ST8000DM004
が1台故障している。
ST8000DM004はややハードめな用途で使用期間も長かったので、こいつの故障時点では運が悪いだけと思っていた。
なのだが、その後のMQ04ABD200 3台の故障でさすがにおかしいと思い始めた。
しかも、MQ04ABD200については壊れ方が毎度同じ。
なにか共通原因があるとしか思えない。
その調査記事。
先に結論だけ書いてしまうと、
MQ04ABD200
のファームウェアにはおそらくファイルを壊すバグがある。
ただ、普通の用途でバグを引く確率は低そう。
私の環境では、常駐ソフトウェアが原因でSMR HDDに対して常時ストレステスト状態になっており、バグを誘発しやすい状況だった可能性が高い。
ST8000DM004の故障についてはなんとも言えないが、こちらもSMRであるので同じくストレステストになっていた可能性が高く、寿命を縮めていた可能性は大いにある。
HDDはすべてGPT形式でNTFSフォーマット。
OSはWindows10。
セクタは4KB。
MQ04ABD200のファームウェアはJT001U。
ロット・製造年月日はまちまち。
故障したHDDは基本、
/FILE
もしくは、
/DIR/FILE
のように、ドライブルート直下、もしくはルート直下の第一階層ディレクトリとその配下のファイルだけを格納している。
ファイルは大き目で、ほとんどが100MB以上。
MQ04ABD200はみんな同じ壊れ方をしたので、そこら辺を記載しておく。
まず起こることとして、以下の管理イベントが大量発生する。
・NTFS イベント131
ボリューム ** のファイル システム構造は修正できませんでした。
・NTFS イベント55
ボリューム ** のファイル システム構造で破損が検出されました。
その結果、再起動してCHKDSKせよという通知が出る。
これらのイベントは、Windows標準Defrag直後に発生することが多かった。
標準Defragは週1でスケジュールされているが、毎週エラーが発生するわけではない。
Defragをするときにたまに壊れるのか、壊れた結果としてDefragで検知されているのかどちらかのようだ。
ファイルの壊れ方としては、HDDに保存したファイル・ディレクトリの一部が消える、もしくは0byteファイルになる。
細かくは以下のいずれか。
・記録したはずのディレクトリが消える
・記録したはずのディレクトリはあるがディレクトリ内のすべてのファイルが消える
・記録したはずのディレクトリはあるがディレクトリ内の一部のファイルが消える
・記録したはずのディレクトリはあるがディレクトリ内の一部のファイルが0byteファイルになる
ファイルが壊れても、SMARTからは異常と言えるような情報は読み取れない。
上記の故障の場合、復旧によって割とデータは戻ってくる。
そこら辺も書いておく。
CHKDSKをかけると、一部のファイルやディレクトリはfound.xxxに復旧される。
これですべてのファイルが戻ってくると楽なのだが、CHKDSKでは戻ってこないファイルもある。
このとき一番有効だったのはwinfrのsignatureモードで、ファイルデータ自体は復旧できるケースが多かった。
ただ、ファイル名・タイムスタンプなどは戻ってこないので、ファイルサイズやハッシュ値で元のファイルを探らなければならない。
他にもいくつか復旧ソフト(一部は試用モード)を試したが、この壊れ方のケースではwinfrと同等のものはあっても、より好成績のものはなかったのでwinfrで良いと思う。
winfrをかける場合は、可能な限り壊れてからすぐ、極力HDDにアクセスを行わない段階でやったほうが良さそうだ。
CHKDSKで復旧すると多分データ書き込むので、CHKDSKを実施しないようにしてwinfrを先にやるべき。
PhotoLoaderという常駐ソフトが問題を誘発していそう。
以前CASIOのデジカメを利用しており、これには写真ライブラリ作成・管理ソフトが付属していた。
そいつがPhotoLoader。
このソフトは、新規に繋いだストレージから画像ライブラリにデータを自動コピーしてくれる。
これがまあまあ便利で、カシオのデジカメを手離してからも使用を続けていた(ライセンス上問題ないことはカシオサポートに確認済み)。
このソフトの挙動を改めて確認してみると、各ドライブの第一階層ディレクトリ配下のQVCAM.QVSというファイルがないかを延々探す動作をしている。
c:/DIR1/QVCAM.QVS
c:/DIR2/QVCAM.QVS
…
d:/DIR1/QVCAM.QVS
d:/DIR2/QVCAM.QVS
…
QVCAM.QVSは写真のカタログファイルだろうか。
なお、この挙動は、Process Monitorでフィルターのpathにドライブレターを指定して調べた。
この動作は一見なんの変更も発生しなさそうだが、ドライブの第一階層ディレクトリの最終アクセス日時を更新する。
最終アクセス日時はMFTに記録される。
MFTエントリのうちディレクトリだけを延々更新し続ける…… これがよろしくなさそう。
MFTは1KBのエントリで、ディレクトリ・ファイルの区別なく連続して格納されている。
並び順は概ね作成順に並んでいるようだ。
さて読み書きの単位であるセクタは4KBである。
OS側の管理単位であるクラスタとHDD側の管理単位であるセクタはアラインメントができているはずなので、1セクタ=4KBにはMFTが4エントリ含まれる。
1セクタ内の4つ組のMFTのいずれかに更新が発生すると、そのセクタは丸ごと再書き込みとなる。
さて、このときディレクトリのMFTだけが更新されるとどうなるか。
下の*が更新が発生した箇所で、本来は*の場所に上書きしなければいけない。
<< 本来の動き >>
*DIR1のMFT <- DIR1のMFT
FILE1のMFT <- FILE1のMFT (DIR1のMFTと一緒のセクタ)
FILE2のMFT <- FILE2のMFT (DIR1のMFTと一緒のセクタ)
FILE3のMFT <- FILE3のMFT (DIR1のMFTと一緒のセクタ)
FILE4のMFT
FILE5のMFT
FILE6のMFT
FILE7のMFT
FILE8のMFT <- FILE8のMFT (DIR2のMFTと一緒のセクタ)
*DIR2のMFT <- DIR2のMFT
FILE9のMFT <- FILE9のMFT (DIR2のMFTと一緒のセクタ)
FILE10のMFT <- FILE10のMFT (DIR2のMFTと一緒のセクタ)
FILE11のMFT
FILE12のMFT
FILE13のMFT
FILE14のMFT
ところがびっくり、本来の場所ではなく「先頭から詰めて」上書きしてしまうことがあるようだ。
<< 壊れるケースの動き >>
*DIR1のMFT <- DIR1のMFT
FILE1のMFT <- FILE1のMFT (DIR1のMFTと一緒のセクタ)
FILE2のMFT <- FILE2のMFT (DIR1のMFTと一緒のセクタ)
FILE3のMFT <- FILE3のMFT (DIR1のMFTと一緒のセクタ)
FILE4のMFT <- FILE8のMFT (DIR2のMFTと一緒のセクタ)
FILE5のMFT <- DIR2のMFT
FILE6のMFT <- FILE9のMFT (DIR2のMFTと一緒のセクタ)
FILE7のMFT <- FILE10のMFT (DIR2のMFTと一緒のセクタ)
FILE8のMFT
*DIR2のMFT
FILE9のMFT
FILE10のMFT
FILE11のMFT
FILE12のMFT
FILE13のMFT
FILE14のMFT
この結果、ディレクトリ・ファイルが消えたりする。
MFTの可視化はとりあえずDMDEが便利だった。
さて、PhotoLoaderは延々とディレクトリの最終更新日時を上げ続けるため、一度壊れた後にもディレクトリMFTの書き込みがやってくる。
その時の動きはどうなるか。
どうも正常な位置に、上書きされて消えてしまったはずの正常なデータを更新するかのように(!?)書き込むようだ。
つまり実際のHDDのMFTは壊れているにも関わらず、Windows上はまだ正常なMFTを認識しているような振る舞いをしている(多分)。
この結果として、以下のようなパターンが発生する。
(a) MFTが消失したファイル
MFTが本来のものでないMFTによって上書きされてしまい、MFTが消失する。MFTが消えているだけなので、データ自体はHDDの記憶域に残っているケースが多い。winfrで復旧できるのはこのため。
(b) MFTが二重化したファイル・ディレクトリ
本来の位置にあるMFTと誤って書き込まれたMFTで同じMFTが2つ登録されてしまう。Windowsがイベントで検知するのは主にこっちっぽい。
CHKDSKにかけると、二重化しているからか本来のパスとfound.xxx内それぞれにファイル・ディレクトリがある状態になり、実体も二重化以上になる。
ファイルについては、同一のデータ領域を指すのは不正なようで、いずれか1つが残されて他は0byteになるようだ。
CHKDSKの細かい仕様は調べられていないが、基本found.xxx上にファイルサイズがあるファイルが残る形になった気がする。
「データの先頭から見て先に見つかった方を正として扱う」だと、異常書き込みが先に見つかるのでそういった要因もあるかもしれない。
なお、上にも書いたようにディレクトリとそのセクタのファイルは破壊後に正しいMFTが書き直されるようなので、ディレクトリの消失ケースは発生しない… と思っているがもしかしたら発生しているかも。
その場合、親ディレクトリが行方不明になっているだけなのでCHKDSKが回収してくれそう。
・同一PCに常時繋いでいるSSDでは問題が起きていない
・MQ04ABD200はリムーバブルマウンタ経由・SATA直接続・USB-SATA変換接続いずれでも問題が起きた
・MQ04ABD200を含めドライブのSMARTには問題がない
・メモリテストでは問題がない
・セクタのブロックをまとめて書き込む処理は、Windowsではあんまりやってなさそう(ドライバ周りとかでやってる可能性は否定できない)
・誤って上書きされたのち、Windows側には誤書き込みが見えていないタイミングがある
・いかにもメディアキャッシュからの書き込みでやってそうな挙動
と、100%黒ではないがHDDのファームウェア内、特にメディアキャッシュ周りでなにかが起こってる可能性が高いと思う。
電源・メモリ・マザーボード・CPUなどハード側の共通原因も検討はしたが、合わない状況があり可能性は低いと判断した。
内部的な状況の推測。
推測レベルの話にはなってしまうが、SMRのメディアキャッシュ(CMR領域)からSMRの本記録領域に書き込む際の挙動が怪しい。
誤書き込みが開始する位置に関しては今ひとつ法則が掴めていないが、誤って書き込まれるデータの中身には境界がありそうだ。
SMRの挙動から、書き込みの際には一度何らかのブロック単位でデータを読み込んで変更箇所だけ書き換えてそのブロックをまとめて上書きしていると推測される。
セクタ x 1K,2K,4K程度のブロックを使っているような気がするので、ここでは仮にセクタ x 4Kブロックをまとめて書いているとしよう。
4KB * 4Kなので16MBが1ブロックだ。
この16MB内の非連続な書き込みについて、どこかの位置から連続的に書いてしまう。
他のブロックの書き込みをこのブロックに書き込んでしまうことはない。
あくまでブロック内の書き込み位置を間違うだけ。
であるとすれば、ブロック内で複数の非連続な書き込みがあったときの書き戻しロジックにおいて、なんらかの条件で連続書き込みのロジックに流れてしまうのではないか。
連続書き込みは最適化出来そうなので、ランダム書き込みとロジックが分かれている可能性は大いに有り得る。
発生条件までは特定出来そうにないが、なんとなくであれば以下のあたりが怪しそうではある。
・シーケンシャル書き込みとランダム書き込みが近いタイミングで行われる
・電源入れっぱやしょっちゅうアクセスがあるなどで、メディアキャッシュの中がクリアにならない状態が長く続く
・メディアキャッシュが溢れたタイミングなどのメディアキャッシュからの追い出し処理が絡む
・同一ブロック内の非連続な書き込みの中にたまに連続したり、書き込みセクタ→非書き込みセクタ→書き込みセクタなど、まだらな書き込みパターンがある
仮説の検証テストは難しくなさそうだが、やりたくない。
PhotoLoaderの挙動がよろしくないのは間違いない。
したがって、PhotoLoaderの常駐を切るのがもちろん優先。
ただ、挙動がよろしくないとはいえ、極端に異常な使い方というわけでもない。
この程度でデータが破損するようでは困りものである。
根本対策は、MQ04ABD200ひいてはSMRのHDDを使わない、しかないだろう。
この結論にたどり着くまでにひどく時間を使ってしまったのですごい疲れた……
SMR技術はこれからも残りそうではあるが、機械的な動作を含むメディアキャッシュはいかにも単一故障点になりそうだし、
本件のようにファームウェアのメディアキャッシュ周りで問題が生じることもありえる。
当初メディアキャッシュについて理解が浅く、バックアップ用途の低頻度書き換え用途であればSMRも悪くないと判断していた。
さらには2.5インチHDDの取り回しのしやすさと耐衝撃性から、2.5インチのSMR HDDをバックアップに使っていたのだがここで運用を改めるタイミングになりそうだ。
まず、3.5インチHDDのトレンドからはSMRは外れてしまい、技術としての成熟機会が失われている。
2.5インチHDDというジャンル自体についても、SSDにはっきり押されて縮小の一途だ。
新製品開発は止まっているし、現在販売中の製品もいつディスコンになるかわからない状態。
この状況になってからSSD供給が逼迫し、HDDも値上がりしているのはきついの一言であるが致し方ない。