都市環境における歩行者支援のための画像説明文生成用データセットの作成

本研究では、視覚障がい者やスマートフォンのながら歩きする人々などの安全な歩行を支援するための画像説明文生成のデータセットの構築を行う。これにより、視覚情報が制限される歩行者が、例えば「信号の色」や「点字ブロックの位置」といった具体的なテキストフィードバックを通じて、安全に移動できるような注意文を生成することが可能になる。現在の歩行支援研究では、物体検出技術に焦点が当てられているものが多い[1,2,3,4]が、これは特定の物体の位置やクラスを把握するのみに限られる。対照的に、画像キャプションはより詳細で文脈を持った情報を提供し、歩行者が直面する状況や障害物に関するより包括的な理解を可能にする。したがって、本研究では、歩行支援に特化した画像キャプションのデータセットを構築し、評価を行う。本研究の主な目的は、視覚障がい者やスマートフォン使用者の歩行中の安全を支援することである。このため、特に視覚障がい者にとって重要なオブジェクトや状況に焦点を当てた画像キャプションのデータセットを収集する。その後、収集したデータセットを活用して機械学習モデルのファインチューニングを行い、実際の環境での歩行支援に役立つテキストフィードバックの生成を目指す。