VLM OCRのPoCは、きれいな画像の読取デモではなく、未知レイアウトと失敗時を含む実業務を最後まで通して評価します。 合格基準は文字認識率だけでなく、誤登録率、要確認率、処理時間、復旧性、保守工数で決めます。
例は「3PLの入荷口で、荷主ごとに異なる現品票から品番・ロット・数量を抽出し、ASNと一致した荷物だけWMSへ登録する」です。対象項目、照合先、自動化範囲、最終責任者を明らかにします。
実運用の頻度を反映した通常群に加え、意図的な難例群と未知群を分けます。
| 群 | 例 | 目的 |
|---|---|---|
| 通常 | 頻出仕入先、良好画像 | 平均的な効果 |
| 難例 | 反射、傾き、汚れ、曲面 | 限界と再撮影設計 |
| 類似 | 0/O、1/I、類似品番 | 誤登録耐性 |
| 未知 | PoC調整で未使用のラベル | ゼロショット性能 |
| 例外 | マスター不在、複数候補 | 安全な保留 |
調整用と最終評価用を分離し、最終評価セットをプロンプト調整に使わないようにします。
「2秒以内」を要件にするなら、端末撮影後から画面応答までか、推論APIだけかを定義し、通信・前処理・推論・照合・DB登録に分解します。
全項目へ同じ閾値を置かず、ロット・品番の誤登録は厳しく、備考の空白差は正規化可能というように重み付けします。マスター候補が一意でない場合は、信頼度が高くても自動登録しません。
PoC後は、成功画像だけでなく失敗理由を「撮影」「抽出」「照合」「連携」「運用」に分類します。対策費まで含めて本番可否を判断します。
指定評価セットにおいて、必須項目の項目完全一致率、誤登録率、要確認率、p95エンドツーエンド時間が合意値を満たすこと。測定条件、除外条件、モデル版を試験報告書へ記録する。
具体的な数値は業務リスクと現状値から決めます。他社事例の認識率をそのまま転用しないでください。
単純な枚数より、仕入先・版面・撮影条件・例外の網羅が重要です。母集団と許容誤差に基づき設計し、希少だが重大な誤登録ケースは別枠で必ず入れます。
比較できます。同じ評価セット、同じ正解データ、同じ後処理条件で測り、設定作成・保守時間も比較対象にします。
通常例だけでなく、反射、傾き、汚れ、未知レイアウト、マスター不在を含む実画像と、抽出項目、正解値、照合先、例外時の処理を準備します。
文字単位の認識率だけでなく、項目完全一致率、誤登録率、要確認率、初回撮影成功率、エンドツーエンドの処理時間を業務リスク別に評価します。