2020年度 グループ 3 活動報告
研究開発項目３︓人間の知識・概念獲得の研究開発

研究開発課題１：概念理解とマルチモーダル認識の研究開発
未知・新規な状況を判断する技術開発
問題整理と全体設計を行った。そのために、これまでに課題推進者が培ってきた、二次元静止画像からの未知の物体の判定技術をさらに進化させて、より現実的かつ複雑な状況においても、十分な未知・新規物体検出性能が得られるように、従来の手法の問題点の整理とその改善案を検討した。

未知物体や状況に関する情報を獲得する技術開発
問題整理と全体設計を行った。本技術課題を進めるには未知な情報を言語化し質問を生成すること、質問の意図を明確に回答者に伝えること、冗長な回答の中から欲しい情報のみを適切に抽出することが重要となるために、それぞれの項目に対して、課題推進者が開発してきたアルゴリズムの問題点を見直し、実世界の複雑性に耐えうるようなロバスト性を獲得するための方策を検討した。

少数の教師情報からの知識や概念を構築する技術開発
問題整理と全体設計を行った。人間から得られる回答量は多くはないため、少数の教師情報から知識や概念を効率的に構築する手法が求められる。そこで、Few-shot 学習、マルチモーダルな知識の転用、複数のエージェント間での経験の共有が重要となる。特に課題推進者は、few-shot 学習においてはクラス間学習、知識の転用に関しては教師なしのドメイン適合の研究を推進してきており、その実績を進展させる方向で手法を設計する。また、複数のエージェント間での経験の共有について、今まではシングルドメインの適合問題を研究推進者は取り組んでいたが、それを複数のドメインに拡張する手法を検討した。

研究開発課題２：意味理解コーパスの研究開発
意味理解コーパスの研究開発
医療分野においては、様々な診療科が存在し、それぞれの科に特徴がある。また、対象とする疾患なども科によって異なり、電子カルテに存在する所見の情報も異なる。そのため、どの分野に対応した意味理解コーパスを開発するかというのも重要な要素となる。一方で、医療データには個人情報が含まれるため、データセット構築はその他のデータと比較して難しいという点がある。当該年度は、対象とする分野とデータの検討を行なった。データとしては、CA 利用を想定すると、画像とそれに対応した電子カルテデータなどといった別モダリティのデータがあることが望ましい。そこで、放射線科や病理、内視鏡などさまざまな診療科のデータの検討を行った。

医師の診断プロセスを考慮した診断支援システムの開発
医療用画像処理やカルテ情報処理に関するデータは、その専門性の高さ故にアノテーションを付与するという行為は医師にしかできないというケースがしばしば存在する。そのため、開発するシステムは、一般画像処理等に比べると少量のアノテーション

1 / 3

データとなったり、詳細なアノテーションが得られないという状況下での開発が求められる。そこで、当該年度では少量のアノテーションデータで開発するためのシステムの開発や弱教師付き学習による開発などといった学習の枠組みの検討を行なった。また、本研究開発課題で開発する意味理解コーパスは、画像情報だけでなくカルテ情報など様々な情報を含むので、当該年度ではそれらを含んで学習するマルチモーダル学習の枠組みについても検討を行なった。具体的には、所見文の情報を用いることでアノテーションコストを低減することを試みた。所見文中に存在する疾患の位置に関する情報を抽出して検出に利用することを検討した。

研究開発課題３：継続学習と記憶の研究開発
未知・新規な状況を判断する技術開発
既存研究をまとめ、短期および長期記憶メカニズムの概念設計を行った。特に、短期および長期記憶メカニズムの間の情報交換の概念モデル証明の設計を行った。短期記憶が長期記憶に渡される際に、ノイズと非意味的情報は削減する必要性がある。従って、ノイズと非意味的情報の削減のために、情報ボトルネック機構を導入し、短期記憶と長期記憶間の相互情報量を最大化させた。
人間において、夢は短期記憶から長期記憶への変換において重要な役割を果たしている。そこで、人間の夢をシミュレートするための覚醒-睡眠手続きも設計した。特に、覚醒フェーズにおいては、覚醒時のデータから人間が学習することをシミュレートした深層学習モデルの学習には、メモリ内の実際の情報が使われる。睡眠フェーズにおいては、拡張情報を生成し、夢を見ているような状態をシミュレートする。この拡張された情報は、抽象的で意味のある情報だけを長期記憶に渡すように、モデルの抽象化能力を訓練するために用いられる。

自然言語処理技術や医学関連の研究領域を直接サポートする研究開発
既存の研究をまとめ、自然言語処理技術や医学関連の研究領域を直接サポートするコンセプトの設計を行った。放射線科医が 3D の CT データを読影する際に、彼らは最初にスライス全体を見て、患者の全体的な状態を把握した上で、特定のスライス上の疑わしい領域に焦点を当てる。このことを実現するために、まず、すべてのスライスをひと目で確認できるようにするため、軽量なモデルを用いて空間記憶機構を設計した。この空間記憶は主たる深層学習ネットワークが症状を見て最終的に診断する助けとなる。

人間の個性をシミュレートする記憶メカニズムの研究開発
既存の研究をまとめ、人間の個性を考慮する記憶機構の研究開発に注力している。この機構はこの個性を維持する感情分析アルゴリズムを用いることを予定している。

研究開発課題４：因果推論と予測機能の研究開発
複雑な非線形性を有する時系列間の関係性のモデリングに関する研究開発
実世界における複雑な非線形性を有する時系列の例として、複数人物からなる運動の時系列に着目した。これらの時系列の特徴として、人物の順序を入れ替えても予測結果は不変になるべきという順序変換の共変性がある。これを踏まえて既存の主要な時系列予測手法である Long Short Term Memory Network を順序変換共変性を持つように拡張する手法を考案し、ベースラインの実装を行った。実際に複数物体からなる動画像データセットを用いて予測の評価を行い、順序変換共変性を持たない通常の予測モデルよりも良い予測性能を持つことを確認した。

2 / 3

時系列間の関係性のモデリングについて、時系列通しの因果関係推定のための基礎技術であるデータ間の相互情報量の推定手法について考察した。従来のニューラルネットワークによる関数近似に基づく相互情報量の下限推定手法だと推定の分散が大きくなるという問題がある。もともとの推定量が二つの分布における統計量の差分で計算される点に着目し、その分散低下のためにデータ分布の周辺尤度に基づくベースラインを推定量から引く手法を提案した。簡単な人工時系列を用いた実験により、推定量の分散は低減するものの、むしろ相互情報量推定においては下限のタイトさの方が重要であることが示唆された。
時系列間の因果関係予測手法である Transfer Entropy において、入力時系列間の余分な相関を抜くことでより詳細な因果関係を推定できる手法である Intrinsic Transfer Entropy について調査を行った。Intrinsic Transfer Entropyは計算内で確率分布の変換に対する inf を取る必要があり、元々対象としている離散的な時系列では確率分布の変換の自由度は有限のため上手く行くが、連続的な場合変換の自由度が大きくなりすぎて inf が実質的に意味を持たなくなる可能性がある。このような場合でも Intrinsic Transfer Entropy が意味を持つのか、連続的な場合にどのようにモデルに制約を加えれば有用な因果指標となるかの調査考察が今後の課題となる。

研究開発課題５：自然言語処理の研究開発
CA 利用に即した汎用意味理解技術の研究開発
CA 利用においては、CA と操作者、あるいは、CA とユーザは、事前にまたは対話を通して知識の共有がなされていることが仮定されるため、この状況を考慮した意味理解を実現する必要がある。そこで、CA 利用に即した汎用意味理解タスクとして以下の問題を設計した。
1.

文章中の単語またはフレーズに対して、CA が知っている概念か知らない概念かを特定する用語特定タスク

2.

CA とユーザあるいは CA と操作者が共有する知識に起因する省略や代名詞化を解決する外界照応タスク

タスク 1 または 2 両方とも言語的な外部知識（辞書やシソーラス等）を補助情報として活用することが求められる。
そこで、CA 利用に即した汎用意味理解の必要要件として、(i) CA 自身が知っている、或いは、知らない用語や概念を把握できる仕組みがあること、(ii) CA と操作者、あるいは、CA とユーザが事前にまたは対話を通して行なった知識の共有に基づく省略や代名詞化の外界照応問題を解決する仕組みがあること、(iii) 外界照応を解決するために、その場で与えられる文章のみならず、外部知識を持っている前提で意味理解を実行できる仕組みを持つこと、の三点を取り上げ、本課題において解決すべき要件とした。

マルチモーダル意味理解の研究開発
上記と同様、タスクの設計と必要要件について考察した。ここでは、上記項目にて作成されるデータに視覚情報から得られる物体などの情報を統合し、新たなマルチモーダルタスクとする。
なお、マルチモーダル意味理解の必要条件は、基本的に上記項目の要件と一致すると考えられる。ただし、取り扱う外部知識の一種として、視覚情報から得られた情報も追加して扱えることが要件となる。例えばタスク 1 では、視覚情報を追加することにより、言語的に未知情報であっても、視覚情報としては既知であるといった場合があり得るので、こういった場合に視覚情報と言語情報を融合して処理する仕組みが追加の要素となる。以上のことから、CA 利用に即したマルチモーダル意味理解に関しては、上記項目で扱うタスクに対して、まずは視覚情報を追加したタスクを本課題において解決すべき要件とした。

3 / 3