レストラン検索・予約サイトの投稿画像分類における

レストラン検索・予約サイトにおいて，ユーザーが投稿した画像を「料理」や「ドリンク」といった種別ごとに分類することは，ユーザーが目的の写真を効率よく閲覧することに貢献する．株式会社カカクコムが運営するレストラン検索・予約サイト「食べログ」[1]においては，ユーザーが投稿した画像を「料理」，「ドリンク」，「メニュー」，「内観」，「外観」，「その他」の種別へ分類している．これにより，ユーザーは飲食店の画像を効率よく探すことができるようになる．食べログでは，日々大量の画像が投稿されており，これを24時間体制で適切な種別へ人手で分類している．大量の画像を人手で分類するのは多大な時間と労力を有するため，自動分類モデルを用意するのが望ましい．解決方法としては，自前の学習データセット（画像と画像に付与したいラベルがペアになったデータを集めたもの）を使い，教師あり学習によって学習した自動分類モデルを利用する方法が考えられる．しかし，これにはモデルを学習させるためのデータを作成する工程に多大な時間と労力がかかる．特に，実サービスにおける運用では，分類ラベルの追加・変更をすることがある．そのたびにデータの収集とラベリングを繰り返し実施する必要があるという問題がある．そこで本研究では，大量の画像−テキストペアで学習したマルチモーダルモデルであるContrastiveLanguage-ImagePre-training（CLIP）[2]を活用することで，モデルの学習にかかる時間や労力を抑えつつ，レストラン検索・予約サイトにおける投稿画像の人手での分類作業を削減することを試みた．その結果，複数の画像種別において実用的な分類性能を達成し，人手による画像分類の作業を大幅に削減できた．