FABRIC STAIN DATASET への適用例¶

概要¶

FABRIC STAIN DATASETを用いて、ポリエステルとコットンの布地（図1）についたインク・油・泥の染み（図2）を検知する異常検知タスクに対するTDSE Eye/外観検査（図3）の精度評価を行いました。その結果、5 %の失報率（異常画像の見落とし）を許容するしきい値を採用する場合の誤報率（正常画像を誤って異常と判断する割合）は32 %となりました（図4）。この結果は、異常の発生率が十分に低いと仮定すると、検査しなければならない画像枚数が約1/3に削減されることに対応します。

詳細¶

データセット¶

FABRIC STAIN DATASETに含まれるポリエステルとコットンの布地の画像466枚が含まれます。このうち398枚はインク・油・泥の染みが付いた異常画像（図2）で、残りの68枚は汚れのない正常画像（図1）です。

398枚の異常画像全件を評価用異常データセット（va398；varidation/abnormal/398）として、64枚の正常画像からランダムに抽出した34枚を評価用正常画像データセット（vn34；validation/normal/34）として、残りの34枚の正常画像を訓練用正常画像データセット（tn34；training/normal/34）としてそれぞれ利用しました。訓練用正常画像データセットのサイズと評価指標の関係を調べるために、tn34からそれぞれ1、2、4、8、16枚の画像をランダムに抽出したデータセット（tn1、tn2、tn4、tn8、tn16）も作成しました（図5）。訓練データの違いではなく訓練データ増加の影響のみを調べるために、tn2XがtnX（X = 1、2、4、8）を含むようにtn2からtn16を作成しました。

実験¶

tn1からtn34のそれぞれをTDSE Eye/外観検査に投入して異常度推定モデを6個作成し、それぞれのモデルのvn34とva398に対するAUC-ROCを算出しました。

結果とコメント¶

tn34に対するROC曲線を図6に示します。 AUC-ROCは約0.94でした。失報率5 %の場合の誤報率は約1/3でしたが（図4）、より保守的な失報率1 %のしきい値を採用した場合でも誤報率は約1/2に抑えられており、50 %程度の作業負荷軽減が期待されます。

誤報のパターンを調べるために、異常度の高い正常画像と異常度の低い正常画像の典型的な例を図7に示します。図7左列から、訓練データに含まれなかったようなしわ・折れ目・ゴミを含むような正常画像の異常度が高くなっていることがわかります。画像の撮影時にしわや折れ目が入らないように注意するか、訓練画像の枚数を増やしてより多様なしわや折れ目のパターンが既知のものとなるようにモデルに訓練させることで、誤報率を改善できる能性があります。図7右列から、しわ・折れ目・ゴミの無いきれいな画像については異常度が低く推定されており、人間の直感とも合う結果が得られていることがわかります。

失報のパターンを調べるために、異常度の高い異常画像と異常度の低い異常画像の典型的な例を図8に示します。図8左列から、ひと目でわかるような明確な染みの異常度が高くなっていることがわかります。図8右列から、小さな染みや薄い染みについては異常度が低く推定されており、人間の直感とも合う結果が得られていることがわかります。

今回利用したデータセットにはしわや折れ目やゴミを含むばらつきの大きな正常画像が含まれていたため、訓練用の正常画像の枚数を増やすことが精度向上にあたっては重要になると予想されます。訓練データセットのサイズと1 - AUCの関係を図9に示します。 4枚の段階で一時的にAUC-ROCが悪化しているものの、基本的には訓練データセットの画像枚数を増やすほどAUC-ROCが改善しており、34枚時点ではまだAUC-ROCの改善が飽和していないことがわかります。今回利用したのは事前に作成された研究用のデータセットのため訓練用正常画像を増やすことは難しいですが、実運用環境では正常画像を取得することは容易であるため、より一層の精度向上が見込まれます。

青色	正常画像の異常度のヒストグラム。
赤色	異常画像の異常度のヒストグラム。
紫線	失報率（ある異常度をしきい値として正常/異常の判別をおこなう場合に誤って正常と判断される異常画像の割合）。失報率は小さい方が望ましいものの、誤報率（後述）とトレードオフがあります。
緑線	誤報率（ある異常度をしきい値として正常/異常の判別を行う場合に誤って以上と判断される正常画像の割合）。誤報率は小さいほうが望ましいものの、失報率とトレードオフがあります。
縦線と黒四角	図中の縦線に対応する異常度をしきい値とした場合の誤報率と失報率が黒四角内に表示されています。異常度約3.47をしきい値として判別をおこなう場合、約5 %の失報率と約32 %の誤報率が期待されます。

左列	異常度の高い正常画像とその高異常度の原因の典型例。
右列	異常度の低い正常画像の典型例。
ヒートマップ	異常度の高い箇所が明るい色で表示されています。画像ごとに異常度の最小値と最大値で規格化されています。

左列	異常度の高い異常画像の典型例。
右列	異常度の低い異常画像の典型例。
ヒートマップ	異常度の高い箇所が明るい色で表示されています。画像ごとに異常度の最小値と最大値で規格化されています。