機密ラベル画像を外部クラウドへ送れない現場でも、VLM OCRは社内GPUサーバーまたはGPU搭載エッジ端末で構成できます。 ただし「オンプレ＝安全」ではありません。モデル供給、API認証、端末、ログ、更新、バックアップまで含めて閉域運用を設計します。
| 方式 | 向く現場 | 長所 | 注意点 |
|---|---|---|---|
| 拠点GPUサーバー | 複数端末・複数ライン | 資源集約、モデル更新が容易 | ネットワーク障害、集中負荷 |
| ライン側エッジGPU | 低遅延、閉じた設備 | 通信量削減、障害分離 | 台数分の更新・監視 |
| スタンドアローンPC | 研究、隔離区域、小規模 | 構成が単純 | データ同期、冗長化 |
NVIDIAのJetson Platform ServicesにはVLMをREST API経由で扱う構成や監視、APIゲートウェイの要素が示されています。ただし公開例は動画理解を中心とするため、ラベルOCRの性能を保証する資料ではありません。採用モデル、メモリ、量子化、画像解像度を実機検証します。
iPad / Android / 固定カメラ
│ HTTPS・端末認証
▼
API Gateway ── 認証・レート制限・監査ID
│
画質判定 → OCR/VLM推論 → スキーマ検証 → マスター照合
│ │
├─ 確定結果 → WMS/ERP/電子帳票API ────┘
└─ 要確認 → 確認UI
監視: 遅延、GPU、キュー、エラー、モデル版、ドリフト
保管: 元画像、抽出値、補正値、根拠、操作者、時刻推論サービスとWMSを直接結ばず、APIゲートウェイと業務サービスを間に置きます。モデルを入れ替えてもWMS側の契約を変えないためです。
「エッジなら必ず1秒以下」ではありません。搭載メモリに収めるための量子化で精度が変わる可能性もあります。対象モデルのライセンスと商用利用条件も確認します。
タイマーの開始・終了点を決めます。
「推論だけ0.8秒」と「作業者が結果を見るまで1.8秒」は別の値です。p50、p95、最大、タイムアウト率を、通常負荷とピーク負荷で測ります。ウォームアップ直後と定常時も分けます。
モデルまたはプロンプトを変えると、以前読めていたラベルの結果が変わる可能性があります。版を固定し、代表データと難例データによる回帰試験を通してから段階配信します。旧版へ戻せるよう、モデル、プロンプト、前処理、辞書を一つのリリース単位で管理します。
初回起動時にモデルやコンテナをダウンロードする構成は、完全閉域ではそのまま動きません。ビルド、脆弱性スキャン、ライセンス確認を済ませた成果物を社内レジストリへ持ち込みます。証明書失効確認、時刻同期、端末管理も閉域要件へ合わせます。
オンプレミスVLM OCRの設計では、GPU性能より先に、信頼境界、障害時運用、モデル更新、監査ログを決めます。その上で画像と負荷を固定し、必要なモデルサイズと配置を実測します。
全体像は「VLM OCR完全ガイド」、現場システムとの接続は「電子帳票とVLM OCRの連携」を参照してください。
構成次第です。テレメトリー、障害報告、モデル取得、バックアップ先を確認し、外向き通信を許可リストで制御します。
対応モデルとメモリ条件を満たせば動作可能ですが、必要な精度・遅延・同時実行数を実機で確認します。
サーバー冗長化、別拠点への切替、端末キュー、手入力へのフォールバックを業務継続要件に応じて選びます。
通常例だけでなく、反射、傾き、汚れ、未知レイアウト、マスター不在を含む実画像と、抽出項目、正解値、照合先、例外時の処理を準備します。