予測精度評価

全体像

正常画像データセットを用いて構築したAIモデルを使用し、評価用の正常画像データセットと評価用の異常画像データセットに対してバッチ予測を行います。バッチ予測結果からAIモデルの予測精度を評価できます。

予測精度評価の全体像

利用手順

1. 画像の準備

   以下3種類の画像データセットを用意し、それぞれをフォルダーに格納します。フォルダーをzip形式のファイルに圧縮します。

   1. 正常画像データセット（モデル作成用）

   2. 正常画像データセット（精度評価用。モデル作成用とは異なる画像を用います。）

   3. 異常画像データセット（精度評価用）

2. システムにログイン

   • Webブラウザを使いログインページにアクセス

   • ログイン画面にIDとパスワードを入力しログイン

3. 画像データのアップロード

   • ログイン後は、画像アップロード画面に自動的に遷移

   • 用意した3つのzipファイルをそれぞれアップロードし、画像データをデータセットとして登録。それぞれに異なる名称を付与

4. アップロードの完了を確認

   • データセットの一覧画面で、3つのデータセットが登録されていることを確認

5. データセットの詳細を確認

   • データセットの一覧画面から、正常画像データセットの「名称」をクリックし、データセットの詳細画面に遷移

6. モデル訓練画面に遷移しモデルを訓練

   • データセットの詳細画面の「モデル訓練」ボタンを押下し、モデル訓練画面に遷移

   • モデル訓練画面でモデル名を入力し「実行」ボタンを押下

7. 訓練の完了を確認

   • モデル画面で訓練されたモデルが登録されていることを確認

   • モデルIDの右にあるを押下し、IDをクリップボードにコピー

8. データセットの詳細を確認

   • データセットの一覧画面に遷移

   • 精度評価用の正常画像データセットの「名称」をクリックし、データセットの詳細画面に遷移

9. バッチ予測画面に遷移し正常画像の異常検知を実施

   • データセットの詳細画面の「バッチ予測」ボタンを押下し、バッチ予測画面に遷移

   • バッチ予測画面で「表示名」をおよび「モデルID」を入力。モデルIDは、前のステップでクリップボードにコピーされたIDをペースト。その後、「実行」を押下

10. 異常画像に対してもバッチ予測を実施

    • 再びデータセットの一覧画面に遷移し、同様な手順で、精度評価用の異常画像データセットに対してもバッチ予測を実施

11. バッチ予測の結果を確認

    • バッチ予測結果画面で精度評価用の正常画像と異常画像それぞれのデータセットに対するバッチ予測結果が登録されていることを確認

    • それぞれの評価結果IDをメモ帳等へコピーペーストしておく

12. モデル精度の評価

    • 評価画面に遷移し、表示名を付与、正常と異常それぞれの評価結果IDを入力

    • 実行ボタンを押下

13. 評価結果の確認

    • 評価結果画面で評価結果が登録されていることを確認

    • 「名前」をクリックすると評価結果に遷移

    • 異常度の分布のグラフを使い、異常度の閾値を設定することが可能。