3. 実機部材の欠陥分類精度の評価技術報告3.1 評価方法3.2 検証結果ロータ表層のUT欠陥自動検出モデルの開発CNNの学習に用いた実機4部材の全検査データを対象に、本CNNを組み込んだ検出手法（図3）による欠陥の検出精度を評価した。ここではエコー高さ40 %以上を欠陥と見なしており、このときの評価結果を表2に示す。表中の全画像数はB-Scan画像の枚数を、欠陥画像数は検査員が実際に評価した欠陥数のことを表している。過検出率および検出漏れ率は、次の（1）,（2）式よりそれぞれ算出した。過検出率 = （欠陥画像を過検出した数） /（全画像数－欠陥画像数） × 100検出漏れ率 = （欠陥画像を見逃した数） /（欠陥画像数） × 100過検出率は部材No. 2が最大となり、その値は4.0 %であった。いずれの部材も検出漏れは発生しておらず、本手法では欠陥有無を安全側に評価していることが判る。表3に示す実機ロータ20部材に提案手法を適用し、欠陥の分類精度を検査員の評価結果と比較した。ここで使用した20部材は、前章の学習・検証に用いた4部材とは異なるものである。評価対象の欠陥はエコー高さが40 %以上のものとした。表3における欠陥画像数は、40 %未満の欠陥を省いた検査結果であり、その総数は127個であった。実機20部材の欠陥検出結果を図8に示す。推定した欠陥数は計996個あり、いずれの部材も検査員が検出した欠陥を全て検出できており、検出漏れは認められなかった。一方で、20部材分の過検出率の平均値は2.4 %であり、提案手法は僅かに過検出寄りだった。機械学習モデルの実機運用を実現するには、欠陥の見逃しを絶対に避けなければならず、そのためには欠陥を過検出側に評価する必要がある。これを踏まえると、提案手法の欠陥分類精度は良好だ表2 テストデータの欠陥検出精度（エコー高さ40 %以上） …（2）…（1）と考える。過検出率は部材ごとにバラつきが見られ、特に部材No. 7, 20では10 %以上となった。これらの部材は、学習データにはない特徴を有した疑似エコーを欠陥として検出しており、学習が不十分だったことで欠陥と誤認識したと考えられる。検査員と提案手法が判定した欠陥位置の比較結果を図9に示す。なお、軸方向に連続的に検出された欠陥はまとめて一つと扱い、そのエコー高さが最大の位置を代表座標として示した。両者の欠陥位置は、軸・周・径方向ともに概ね一致しており、十分な精度を有することから、自動検出モデルの実機運用の目途が得られた。本検討では比較的少ない4部材の学習データから推定モデルを作成したが、さらに学習データを増やすことで推定精度の向上が期待される。ただし、疑似エコー画像の学習数を増加させた場合、かえって欠陥画像の分類精度が低下する可能性があるため、学習データに供する各画像数のバランスも重要である。表3 精度検証に使用した実機20部材図8 実機20部材の欠陥検出率（64）
元のページ ../index.html#67