マルチモーダル大規模言語モデルにおける工業製品画像の認識性能調査

ンプトで直接VLM問うことで，細かい調整なしにVLMの工業製品画像に対する認識性能を調査すユーザーの所望の処理が可能となった．るため，MVTec-ADデータセットに含まれる15種また，従来の画像を使った異常検知においては，類の工業製品画像を使いVQAタスクを実施した．事前に大量の学習データを用意しておき，検知の目実験では，VLMに被写体とその状態に対する質問的ごとにモデルの学習を行うことが通例だった．こと回答の選択肢を入力し，VLMの回答の再現率をの作業には異常を含む膨大な画像データの収集や，評価した．その際，参考画像を与える場合と与えなそれぞれの画像に対するアノテーション作業など，い場合の二通りを評価した．被写体に関する質問で多大なコストが発生する．これに対し，学習済みのは，参考画像を与えなくても高い再現率となる製品VLMを活用することで，このようなコストを伴わがあることや，参考画像を与えることで再現率が上ずに画像の異常検知が可能となりつつある．昇する製品があることを確認した．一方で，参考画製造業においては，製品画像と学習済みのVLM像を与えることでかえって再現率が低下する製品もを用いた低コストな製品検査が期待されている．し存在した．被写体の状態に関しては，参考画像を与かしながら，学習済みのVLMはインターネット上えることで回答の再現率は上昇する傾向があるが，で収集された画像を学習しているため，製造業にお全体的には被写体を回答することに比べ再現率は低けるドメインに特化した画像に対しては正しく認識いことを確認した．できず，推論能力が低いことが懸念されている．[5]は商用やオープンソースを含めたマルチモー