【実社会版】
ナレッジグラフ推論チャレンジ
応募シート
2023年3月18日
株式会社KDDI総合研究所
黒川 茂莉

Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

応募者
氏名

黒川 茂莉
所属

株式会社KDDI総合研究所
メールアドレス

mo-kurokawa@kddi.com

Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

2

取り組みの概要（タスク１：危険な状況の検出） 1-1. 提供されるナレッジグラフや動画から危険な状況を検出する。

➡ 〇 ナレッジグラフと動画を組み合わせて危険状況を検出する方法を提案※説明のスコアリングにより、タスク３：定量的評価基準も部分的に対応
 1-2. 検出した状況がなぜ危険な状況なのか理由を説明する。

➡ 〇 Open AI API等を用い、危険状況の説明を付与
 1-3. 解決策を提示する。

➡ △ Open AI API等を用いた説明から、解決策を考察△ ただし、説明の精度について改善の余地あり
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

3

前提と仮定前提
 ナレッジグラフの検索には、江上他の論文[1]のSPARQLを利用仮定
1. 人は、危険状況をしっかり見れば、察知できる
2. Webには危険状況の集合知があり、自然言語モデルはそれを記憶している[1] 江上他, 家庭内の事故予防に向けた合成ナレッジグラフの構築と推論, 人工知能学会SWO研究会(SWO-056), pp.1-10, 2022
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

4キーアイデア～仮説検証型の説明候補ランキング

ナレッジグラフから仮説を立て、集合知と比較検証
1. 危険状況の候補をナレッジグラフから取得

3. 画像に現れた危険状況を集合知と比較➡合致度が高い順にランキング［仮定2］Webには危険状況の集合知があり、自然言語モデルはそれを記憶している

2. 危険状況を動画に［仮定1］人は、危険状況をあたって確認

しっかり見れば、察知できる

Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

5

推論パイプライン～仮説検証型の説明候補ランキング

ナレッジグラフから仮説を立て、集合知と比較検証
動画

江上他論文
クエリ
仮説文はクエリ内容にあわせ手作成

ナレッジグラフ仮説文

イベント時間帯

when [a person open a fridge],
they reaches for a high object

集合知フレーム
切り抜き
集合知検索
モジュール

The risky action is standing
too close to the open
refrigerator, as it could cause
an electric shock if theperson accidentally touches
any exposed electrical parts.
Additionally, if the personleans too far into the open
refrigerator, they risk falling inand getting stuck.

状況 = [a person open a fridge]
部分を画像のハイライト用に利用
Sentence BERT

Sentence BERT

Cos類似度で比較
Cos=0.672
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

6集合知検索モジュール詳細サブモジュール 機能

入力

CLIP+顕著性マップ

テキストにマッ 元画像
チした画像領域 仮説文（一部）を抽出

BLIP

画像をテキスト状況説明画像に変換

Open AI API

質問に応答

状況説明文
（プロンプト※）

出力

今回の用途

状況説明画像注目した仮説文に対応する状況説明画像を出力（画像の一部をハイライト）

状況説明文

状況説明画像に現れる状況をテキスト化

応答文

危険な状況かを質問して集合知の応答を取得※危険な状況を質問するため、プロンプトは状況説明文＋”describe what is the risky action.”
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

7

詳細設定
 CLIP 学習済モデル ViT-B/32 を利用 以下のコードを利用
https://github.com/hila-chefer/Transformer-MM-Explainability
 BLIP 学習済モデル base_coco を利用
https://github.com/salesforce/BLIP
 Open AI API
 学習済モデル text-davinci-003 を利用 Max_tokens は 1024 とし、その他はOpenAI API Playgroundのデフォルト値を参考に設定
 Sentence BERT + Cos類似度
 学習済モデル all-MiniLM-L6-v2 を利用
https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
 文を 384 次元に変換し、Cos類似度で2文の類似度を測定
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

8

Top1 結果（スコア：0.672）
 ナレッジグラフ: Put_groceries_in_fridge_scene3.ttl 仮説文: when a person open a fridge, they reaches for a high object.
 集合知検索結果: The risky action is standing too close to the open refrigerator, as it
could cause an electric shock if the person accidentally touches any exposed electricalparts. Additionally, if the person leans too far into the open refrigerator, they risk
falling in and getting stuck.

オレンジ色太字…理由を表現、太字…危険を表現

元画像

顕著性マップ

状況説明画像＋文a man standing in frontof an open refrigerator.
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

9

Top1 結果と考察（スコア：0.672）＜結果＞ 仮説文: when a person open a fridge, they reaches for a high object.
 集合知検索結果: The risky action is standing too close to the open refrigerator,
as it could cause an electric shock if the person accidentally touches any
exposed electrical parts. Additionally, if the person leans too far into the openrefrigerator, they risk falling in and getting stuck.

＜考察＞

オレンジ色太字…理由を表現、太字…危険を表現 電気ショックのリスクは意外だがなくはない。ただ今回の状況で起こるかは不明
 前かがみになると危ないことはあり得る。ただ今回の状況では起こりそうにない
 主観評価：仮説文と集合知の相関は低い印象。理由が書かれているため解決策は立てやすい 改善点：クエリとなる状況説明文がシンプル過ぎ、詳細状況を表現できていないCopyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

10

謝辞 本研究は、JST、CREST、JPMJCR21F2の支援を一部受けたものである。

Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

11資料の共有について
 応募フォーム
 公開の可否：（○）公開してよい（ ）非公開とする
 公開形式：※公開時期は相談させてください。

（○）ナレッジグラフ推論チャレンジのサイトで公開（ ）独自のサイトで公開してリンクを希望
 応募したプログラム，データ等
 公開の可否：（ ）公開してよい（○）非公開とする
Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.

12

Copyright(C) 2023 KDDI Research, Inc. All Rights Reserved.