EXPLAINABILITY

AIの判定根拠が分からない不安——検査現場でAIを信頼するために

AIが「NG」と言う。でも、なぜNGなのかを人に説明できない——この不安は、検査をAIに委ねるうえで避けて通れない論点です。本稿では、判定根拠が見えないことが品質保証の現場で何を引き起こすのかを上流の課題として捉え、説明可能性をどう設計・運用に織り込めるかを整理します。

2026-06-27 / 最終更新 2026-06-27 / 監修:嶋野(元キーエンス画像処理事業部 開発エンジニア)/ 読了時間:約13分
01
AI検査の不安の核心は「精度」より「説明できないこと」にあると考えられます。なぜNGなのかを顧客や監査に説明できないと、たとえ判定が当たっていても品質保証の責任を負えず、現場が導入に踏み切れない構造が生まれます。
02
説明可能性は単一の機能ではなく、判定根拠の可視化・基準の言語化・トレーサビリティ・人による最終確認という複数の層で成り立つと考えます。VLMは判定理由を自然言語で説明しうる点に可能性がありますが、説明と判定が必ず一致する保証はなく検証が前提です。
03
出発点は派手なAIの導入ではなく、自社の不良基準を客観的に言語化し、現物・現場で判定と説明の妥当性を一つずつ確かめることだと考えます。説明できる検査は、信頼できる検査への第一歩になりうると考えます。
― 目次
  1. なぜ不安なのか
  2. 説明可能性の論点整理
  3. VLMという選択肢
  4. 説明性を組み込む設計
  5. 現場での運用
  6. 落とし穴
  7. 信頼構築のロードマップ
― 01 / 背景と課題

「当たっている」だけでは現場は動けない

検査自動化の相談を受けるとき、最初に語られるのは精度の話であることが多いものです。ところが現場に入って話を聞いていくと、本当の障壁は別のところにあると感じる場面が少なくありません。「AIがNGと出した。でも、なぜNGなのか、検査員にも品質保証部にも説明できない」——この説明できなさこそが、導入を止める最大の要因になりうると考えます。

品質保証は、判定が当たっているかどうかだけでなく、その判定を社外に対して説明し、責任を持てるかどうかで成り立っています。顧客から「なぜこのロットを良品としたのか」と問われたとき、「AIが良品と言ったから」では通りません。クレームや市場流出が起きたとき、判定の根拠をたどれなければ、是正も再発防止も組み立てられないのです。

ブラックボックスは技術問題ではなく信頼の問題

ブラックボックスという言葉は、しばしば技術的な未熟さの話として語られます。しかし検査現場でこれが深刻なのは、技術以前に「人が責任を負えるか」という信頼の問題だからだと考えます。長年の経験を持つ検査員は、なぜそれを不良と判断したのかを言葉にできます。たとえ感覚的でも、後から議論し、基準をすり合わせることができる。判定根拠を共有できないAIは、この対話の輪に入れません。

さらに近年は、品質不正やデータ改ざんに対する社会の目が厳しくなり、検査記録のトレーサビリティや監査対応の重要性が増しています。説明できない判定をそのまま出荷判断に使うことは、こうした流れと逆行しかねません。だからこそ、説明可能性は「あると望ましい付加機能」ではなく、検査AIを実務に乗せるための前提条件になりつつあると考えます。

― 02 / 論点整理

説明可能性とは、結局何を指すのか

「説明可能性」「説明性」「XAI(Explainable AI)」といった言葉は広く使われますが、検査の文脈で求められる説明は一枚岩ではありません。誰に・何のために説明するのかによって、必要な説明の形が変わると考えます。ここを曖昧にしたまま「説明できるAIが欲しい」と要件化すると、現場で噛み合わないまま導入が進みかねません。

説明には複数の層がある

検査現場で求められる説明は、おおよそ次の層に分けて考えると整理しやすいと考えます。第一に「どこを見てNGとしたのか」という位置の説明(画像上の該当箇所)。第二に「何が問題なのか」という種類の説明(傷・欠け・異物・印字かすれといった欠陥種別)。第三に「なぜそれが基準を外れるのか」という基準との照合の説明。そして第四に「この判定をいつ・どの設定で行ったか」という記録の説明です。

ヒートマップで反応箇所を色付けする手法は第一の層には役立ちますが、それだけでは「なぜ不良なのか」の答えにはなりません。色が付いた領域を見ても、そこが傷なのか正常な模様なのか、人が解釈し直す必要が残るからです。検査の現場で本当に欲しいのは、人が読んで納得し、議論の土台にできる説明だと考えます。

アプローチの違いが説明性を左右する

説明のしやすさは、採用するAIの種類によっても変わります。良品・不良品の大量の画像から特徴を学ぶ従来型の深層学習と、画像と言語を結びつけて理解するVLM(視覚言語モデル)では、出力できる説明の質が異なる傾向があります。両者の違いは別稿のVLMと深層学習でも整理していますが、説明可能性という観点から見ると、判定理由を言葉で返せるかどうかが大きな分岐点になりうると考えます。

― 03 / アプローチ

VLMが開く「言葉で説明する検査」

VLMの特徴は、画像を見てその内容を自然言語で記述できる点にあります。検査に応用すると、「この位置に線状の傷が見られ、長さが基準を超えていると判断した」といった形で、判定理由を文章として返しうる可能性が生まれます。これは、先に挙げた説明の第二・第三の層——欠陥種別と基準との照合——に踏み込める点で、従来手法とは性格が異なると考えます。

もう一つの利点は、検査基準を自然言語の指示として与えられる場合があることです。「黒い点状の異物は0.3mm以上をNG」「枠線のかすれは許容するが、文字の欠けはNG」といった、現場が日々口頭で交わしている基準に近い形で条件を伝えられる可能性があります。基準を言葉で扱えるということは、その判定を言葉で説明し直せる素地があるということでもあると考えます。この論点はVLM検査の説明可能性でより踏み込んで扱っています。

ただし「説明=正しい判定」ではない

ここで誠実にお伝えすべき限界があります。VLMが返す説明文は、もっともらしく読めても、実際の判定プロセスを正確に言語化したものとは限りません。説明が自然に読めることと、その判定が正しいことは別の事柄です。流暢な説明が、かえって誤判定を見えにくくする危険すらあると考えます。だからこそ、説明文そのものを鵜呑みにせず、判定結果と説明が現物に照らして妥当かを検証する工程が欠かせないと考えます。

また、VLMは未知の不良や微細な変化を安定して捉えるとは限らず、対象や撮像条件によって得手不得手があります。VLMを万能の解として提示するのは誠実ではありません。重要なのは、説明可能性という観点で何が前進し、何がなお検証を要するのかを、対象ごとに見極める姿勢だと考えます。

― 04 / 設計の考え方

説明性は後付けできない——設計に織り込む

説明可能性は、完成したAIに後から取り付けられる機能ではなく、検査の組み立て全体に最初から織り込むべきものだと考えます。判定器だけを高精度化しても、その出力を人が読み解き、記録し、是正につなげる仕組みがなければ、説明できる検査にはなりません。設計の出発点は、AIではなく「自社の不良基準を客観的にどう言語化するか」だと考えます。

撮れていない欠陥は説明できない

見落とされがちですが、説明可能性は撮像の質に強く依存します。そもそも欠陥が画像に写っていなければ、どんなAIでも正しく判定も説明もできません。照明の角度、産業用カメラの選定、対象の固定方法——こうした現場ライティングと撮像設計が甘いと、AIは「写っていないもの」を判定することになり、説明はますます当てにならなくなります。元キーエンス画像処理事業部の現場知見が効くのは、まさにこの撮像と検査条件の作り込みの部分だと考えます。

判定を是正につなげる流れまで設計する

説明可能性の価値は、出荷判断に責任を持てることだけではありません。「どこに・どんな欠陥が・なぜ」が言葉と画像で残ると、その情報を製造工程の改善に還流できる可能性が開けます。どの工程・どの条件で不良が増えたのかを判定記録からたどる、こうした欠陥の根本原因フィードバックの流れまで含めて設計すると、検査が単なる選別から品質づくりの一部へと位置づけが変わりうると考えます。

― 05 / 運用

現場が扱えて、初めて信頼が育つ

どれほど説明性の高いAIでも、現場の人が触れず、ブラックボックスの専門家にしか調整できなければ、結局は別種の不透明さを生むだけだと考えます。基準が変わったとき、新しい不良が出たとき、現場が自分の言葉で条件を見直し、判定と説明を確かめられること——この扱いやすさが、長期的な信頼につながると考えます。

人とAIの役割分担を決める

現実的な運用では、すべてをAIに委ねるのではなく、判定が明確な領域はAIが担い、グレーゾーンは人が確認する、といった役割分担を設けることが多いと考えます。AIの確信度が低い判定や、説明が基準とうまく噛み合わない判定を人にエスカレーションする設計にすると、説明可能性が「人が介入すべき場所を示す信号」としても働きうると考えます。

また、検査基準を言葉で扱える環境であれば、専門のエンジニアでなくても条件を調整できる余地が広がります。ブラウザ上で対象画像を見ながら基準を試せるようなノーコードVLM検査の発想は、説明と調整を現場の手に取り戻す方向と相性がよいと考えます。検査への具体的な適用の進め方はAI外観検査のページもあわせてご覧ください。

記録が説明を裏づける

運用フェーズで地味ながら重要なのが、判定・説明・設定・画像をひとそろいで記録に残すことだと考えます。後から「なぜこの判定だったのか」を再現・検証できる状態にしておくことが、監査対応にも、トラブル時の原因究明にも効いてきます。説明はその場限りで消費するものではなく、蓄積されることで信頼の積立になりうると考えます。

― 06 / 落とし穴

説明可能性を巡って陥りやすい誤解

説明可能性を導入の軸に据えるのは妥当ですが、進め方を誤ると別の問題を抱え込みます。現場でよく見られる落とし穴を挙げます。

― 07 / ロードマップ

説明できる検査へ——最初の一歩

説明可能性を備えた検査は、一足飛びには実現しません。順序立てて進めることで、過剰な期待も失望も避けやすくなると考えます。ここでは現実的な進め方の一例を示します。

まず基準を言葉にする

最初にやるべきは、AI選定ではなく、自社の不良基準を客観的に言語化することだと考えます。熟練検査員の頭の中にある暗黙の基準を、「何を・どの程度から・なぜNGとするか」という形で書き出す。この作業は、どんな手法を選んでも必ず必要になり、説明可能性の土台そのものになると考えます。

現物・現場で小さく検証する

次に、実際の良品・不良品サンプルを使い、撮像条件を整えたうえで、判定と説明が現物に照らして妥当かを小さく検証します。ここで重要なのは、当たった・外れたの精度だけでなく、説明が現場の言葉で納得できるかまで見ることだと考えます。説明が基準と噛み合わない箇所は、撮像か基準定義のどちらかを見直す手がかりになりうると考えます。

役割分担を決めて段階導入する

検証で見通しが立ったら、AIが担う範囲と人が確認する範囲を決め、記録の仕組みとともに段階的に運用へ乗せていきます。説明できる検査は一度作って終わりではなく、新しい不良や基準変更に合わせて育てていくものだと考えます。客観的な把握と現物検証を出発点に置けば、ブラックボックスへの不安は、少しずつ「説明できる安心」へと置き換えていけると考えます。

― 関連

関連記事・関連ソリューション

― FAQ

よくある質問

AI検査のブラックボックス問題とは何ですか?

AIがNG・OKと判定しても、その根拠を人が説明できない状態を指します。検査現場では、判定が当たっているかだけでなく、なぜその判定なのかを顧客や監査に説明し責任を負えるかが問われるため、説明できないこと自体が導入の障壁になりうると考えられます。精度以前に信頼の問題として捉えることが出発点になると考えます。

VLMを使えば判定根拠が完全に分かるようになりますか?

VLMは判定理由を自然言語で返しうる点に可能性がありますが、その説明文が実際の判定プロセスを正確に表しているとは限りません。説明が流暢でも判定が正しいとは限らず、説明と現物を照合する検証工程が前提になると考えます。対象や撮像条件による得手不得手もあるため、現物・現場での確認が欠かせないと考えます。

ヒートマップがあれば説明可能性は十分ですか?

ヒートマップは反応箇所を可視化する点で役立ちますが、それだけでは「なぜ不良なのか」までは答えられないと考えられます。位置の説明と、欠陥種別や基準との照合の説明は別の層です。現場で本当に必要なのは、人が読んで納得し議論の土台にできる説明であり、複数の層を組み合わせて考えることが重要だと考えます。

説明可能性は監査やトレーサビリティにも役立ちますか?

判定・説明・設定・画像をひとそろいで記録に残せば、後から判定を再現・検証でき、監査対応や原因究明に役立ちうると考えられます。ただし制度として求められる記録要件は業界や取引先により異なるため、適用範囲や具体的な基準は所管省庁や取引先の最新の公表資料・要求事項でご確認ください。

説明できる検査を導入するには何から始めればよいですか?

まずAIの選定ではなく、自社の不良基準を「何を・どの程度から・なぜNGとするか」という形で客観的に言語化することから始めると進めやすいと考えられます。そのうえで実際のサンプルと整えた撮像条件で、判定と説明が現物に照らして妥当かを小さく検証する。この客観的な把握と現物検証が、信頼できる検査への第一歩になりうると考えます。

― REVIEWED BY
嶋野(元キーエンス画像処理事業部 開発エンジニア)
キーエンス画像処理事業部での実務経験をもとに、産業用カメラ・照明・光学系・検査装置の開発に従事し、現在はNsightの技術コンテンツ監修を担当。プロフィール詳細 →

「なぜNGか」を説明できる検査を、一緒に確かめませんか

ブラックボックスへの不安は、自社の不良基準を言葉にし、現物で判定と説明を確かめることから少しずつ解消できると考えます。元キーエンス画像処理事業部の現場知見を持つ立場から、撮像設計と説明可能性の論点を一緒に整理します。まずは現物・現場での小さな検証から始めましょう。

AI検査の説明可能性について相談する