視覚障害者の歩行支援では、周囲の視覚情報を他の感覚に変換して提供することが必要である。そこで本研究では、画像説明文生成のデータセットを作成し、視覚言語モデルのファインチューニングを行った。現在の画像説明文の生成技術は、写真の意味理解等の分野においては大きく進歩したが、写真から特定の目的を持って説明するものはまだ少ない。そこで本研究では、視覚障がい者や晴眼者の歩行支援を目的とし、街頭の歩行動画から取得した画像から、歩行時の注意文を生成した。性能評価では、ファインチューニングを施したモデルにて、ファインチューニング前よりも画像中の局所的な障害物について情報提供ができることが示唆された。

本研究では、視覚障がい者やスマートフォンのながら歩きする人々などの安全な歩行を支援するための画像説明文生成のデータセットの構築を行う。これにより、視覚情報が制限される歩行者が、例えば「信号の色」や「点字ブロックの位置」といった具体的なテキストフィードバックを通じて、安全に移動できるような注意文を生成することが可能になる。現在の歩行支援研究では、物体検出技術に焦点が当てられているものが多い[1,2,3,4]が、これは特定の物体の位置やクラスを把握するのみに限られる。対照的に、画像キャプションはより詳細で文脈を持った情報を提供し、歩行者が直面する状況や障害物に関するより包括的な理解を可能にする。したがって、本研究では、歩行支援に特化した画像キャプションのデータセットを構築し、評価を行う。本研究の主な目的は、視覚障がい者やスマートフォン使用者の歩行中の安全を支援することである。このため、特に視覚障がい者にとって重要なオブジェクトや状況に焦点を当てた画像キャプションのデータセットを収集する。その後、収集したデータセットを活用して機械学習モデルのファインチューニングを行い、実際の環境での歩行支援に役立つテキストフィードバックの生成を目指す。