信頼できるAIを作る

信頼されるAIのための記号推論と機械学習の融合
井上研究室
井上 克巳1,2,3 竹村 彰浩1 Nguyen Tuan Quoc1 磯邊 猛1,2 森山 総太1,3 Nelson Higuera1,4 Federico Leuze1,5 岡崎 孝太郎61国立情報学研究所 2総合研究大学院大学 3東京工業大学 4ウィーン工科大学 5アールト大学 6SONAR

研究の概要
知識表現・推論と機械学習の融合
大規模言語モデル(LLM)

Neurosymbolic AI

2つの世界の橋渡し
v線形代数による論理プログラム計算
v微分可能な論理推論・学習
v機械学習への記号制約の導入

AI応用
v物体認識
v自然言語・VQA
v工学・科学・ビジネス，等

GPUによる高速代数計算（深層学習,パターン認識）（学習と推論の組み合わせによるロバストAI）○

出力される結果について理由を説明出来るか?
（説明可能性）○○

想定外の変化やノイズに対する頑健性があるか?
（ロバスト性）△○

大量の変数を高速に扱えるか?
（スケーラビリティ）○○

制約付き機械学習
ROAD-R Challenge for NeurIPS 2023

竹村 彰浩, 井上 克巳

森山 総太, 渡邉 晃司, 井上 克巳, 竹村 彰浩

含意ルール
sum(0) :- obs(i1,0,i2,0).
sum(1) :- obs(i1,0,i2,1).
sum(1) :- obs(i1,1,i2,0). ...

• マルチラベル物体認識

分類結果

IN

（論理プログラミング,記号的AI）○

微分可能な論理プログラムによるDistant Supervision

+

機械学習

学習もしくは推論の結果を人間が解釈出来るか?
（解釈可能性）

記号推論と機械学習の融合

MNIST
addition

知識表現と推論

井上研究室のアプローチ

IL: Implication Loss = BCE(h, label)

連続値の解釈• Agent detection(Pedestrian, Car, Cyclist, Emergency-Vehicle etc.)• Action detection(Turning-right, Moving-away, Pushing-objects, etc.)• Location detection(Vehicle-lane, Right-pavement, Bus-stop, etc.)

Logical Loss
= IL + CL

CNN

=10

Gradient
Backpropagation

CL: Constraint
Loss = BCE(c, 0)

制約:- sum(0), not obs(i1,0,i2,0).
:- sum(1), not obs(i1,0,i2,1),
not obs(i1,1,i2,0). ...

推論時は分類のみ
OUT• 243個の論理的ハード制約（必要条件）

19

ニューロシンボリックAIによる視覚的質問応答 (VQA)
Nelson Higuera, 井上 克巳
・CNN: 画像認識
・LSTM: 質問解析

ニューラルネットワーク(検知・分類)

ニューラルネットワークが出力する確率を受け取る

h"ps://sites.google.com/view/road-r/dataset• 手法：事前訓練済み物体検知アルゴリズムを拡張，Partial Weighted MaxSATを適用生成された論理プログラムを用いて推論を行う

確率的インターフェース• A traffic light cannot move.
• A vehicle lane cannot be a parking lot.
• A traffic light cannot be red and green at the same time.
• If an agent is crossing, it is either a pedestrian or a cyclist.

• NIIチーム結果: Task 2（制約付き認識）優勝，Task 1（物体認識のみ）3位

論理(推論)

A. Yesテンソル + 論理

Q. Is this animal cute?

線形代数計算による論理プログラミング
Nguyen Tuan Quoc, 井上 克巳(1) 論理プログラムを行列に変換

帰納論理プログラミング（ILP）
におけるメタ学習の適用

大規模言語モデル（LLM）との結合によるニューロシンボリック推論

磯邊 猛, 井上 克巳

Federico Leuze, Nelson Higuera,
井上 克巳

提案手法
タスクに応じて柔軟にシステムを変化させる

従来のILP手法固定されたアルゴリズムを使用
学習状況

自然言語の問題(論理プログラムに変換可能)

背景知識

大規模言語モデル（LLM）

論理（推論）

応答

正の訓練例
メタ学習器
(Outer learner)✔ 強化学習❑ 深層学習❑ ILP

学習結果(2) ベクトル空間上の線形変換として定義される不動点計算，および安定モデル条件の検証

負の訓練例

学習戦略

ILPシステム(Inner learner)

Target concept{a ← b ∧ c,a ← f,a ← ¬h,b ← c ∧ d,c ← a,c ← ¬g,c ← ¬d,d ← e,e ← d,f ← a,f ← g,g ← a,g ← ¬c,h ← ¬a,← c ∧ h,← b ∧ a}✔ Popper❑ ILASP❑ others

対応する論理プログラムを解くことで得られる解

••

LLM

自然言語による説明

学習
LLM

LLMで自然言語入力文から論理式を生成し推論に用いる．
LLMで論理推論の結果を自然言語文に翻訳して説明し，それをLLMの入力とすることでより高品質のデータ生成に活用する．

連絡先: 井上 克⺒ (国⽴情報学研究所)
Email: inoue@nii.ac.jp
URL: https://research.nii.ac.jp/il(3) 線形代数による安定モデル計算における探索(4) 実験結果

Making AI trustworthy

Integration of symbolic reasoning andmachine learning for trustworthy AI
Inoue Laboratory
Katsumi Inoue1,2,3 Akihiro Takemura1 Nguyen Tuan Quoc1 Takeru Isobe1,2 Sota Moriyama1,3 Nelson Higuera1,4 Federico Leuze1,5 Kotaro Okazaki6
1NII 2SOKENDAI 3Tokyo Tech 4TU Wien 5Aalto University 6SONAR

Abstract & Key Features
Integrating KR and ML
LLM

Knowledge
Representa5on andReasoning

Machine Learning（Deep Learning,Pattern Recognition）（Robust AI thatcombines learning andreasoning）

Can we interpret results of learningand reasoning?
（Interpretability）

○

×

○

Are results justified with reasons
why they are output?
（Explainability）

○

×

○

Are results unaffected by noises or
unexpected variants?
（Robustness）

×

△

○

Can it handle a huge number ofvariables fast?
（Scalability）×○○（Logic Programming,Symbolic AI）

Neurosymbolic AI

Bridging Two Spaces
vLinear-algebraic logic programming
vDiﬀerentiable logic reasoning and learning
vIncorporating constraints into ML systems

Applications

vObject detection
vVQA, NLI, Robotics
vBiology, Marketing, etc.

High-speed algebraic computa4on on GPUs

Symbolic Reasoning + Machine Learning

Machine Learning with Constraints
ROAD-R Challenge for NeurIPS 2023

Differentiable Logic Program for Distant Supervision
Akihiro Takemura, Katsumi Inoue
Implication rules
sum(0) :- obs(i1,0,i2,0).
sum(1) :- obs(i1,0,i2,1).
sum(1) :- obs(i1,1,i2,0). ...
Results of Interpretation ofclassification continuous values
MNIST
addition+IN

Sota Moriyama, Koji Watanabe, Katsumi Inoue, Akihiro Takemura• Multi-label object recognition
・Agent detection(Pedestrian, Car, Cyclist, Emergency-Vehicle etc.)
・Action detection(Turning-right, Moving-away, Pushing-objects, etc.)
・Location detection(Vehicle-lane, Right-pavement, Bus-stop, etc.)

IL: Implication Loss = BCE(h, label)

Logical Loss= IL + CL

CNN=10

Our Approach

Gradient
BackpropagationCL: Constraint
Loss = BCE(c, 0)

Constraints:- sum(0), not obs(i1,0,i2,0).
:- sum(1), not obs(i1,0,i2,1),
not obs(i1,1,i2,0). ...

Classification results for inference steps
OUT

19

Neuro-symbolic AI for Visual Question Answering (VQA)
Nelson Higuera, Katsumi Inoue

・CNN for image
・LSTM for naturallanguage

Neural networks
output probabilities.

Neural Network(Detection andclassification)

Probabilistic
interface

Probabilities areconverted into logic
to reason.

• 243 Hard logical constraints
・A traffic light cannot move.
・A vehicle lane cannot be a parking lot.
h"ps://sites.google.com/view/road-r/dataset
・A traffic light cannot be red and green at the same time.
・If an agent is crossing, it is either a pedestrian or a cyclist.
• Methods: Extend pre-trained object detection algorithms + Partial Weighted MaxSAT• NII Team: Task 2 (constrained recogni5on) Win，Task 1 (object recogni5on only) 3rd place

Logic(Reasoning)

A. YesTensor + Logic

Q. Is this animal cute?

Linear Algebraic Computation of Logic Programming
Nguyen Tuan Quoc, Katsumi Inoue(1) Logic programs can be encoded as matrices

Inductive Logic Programming(ILP) + Meta-learning
Takeru Isobe, Katsumi Inoue

Federico Leuze, Nelson Higuera,
Katsumi Inoue

Our framework
flexible system for each task
Conventional ILP
fixed algorithm for any tasks
learning process

Meta-learningsystem(Outer learner)
for metalearner
✔ RL
❑ DL
❑ ILP

learning
strategies

learning results

Neuro-symbolic Reasoning in
Large Language Models (LLMs)

Background knowledge

NaturalLanguage
Problemto be translatedin Logic Program

Large
Language
Model(LLM)

Logic(Reasoning)

AnswerPositive examples
Negative examples

ILP system(Inner learner)

Target concept

for innerlearner✔ Popper❑ ILASP❑ others

Solution ofproblem
solved withLogicProgram{a ← b ∧ c,a ← f,a ← ¬h,b ← c ∧ d,c ← a,c ← ¬g,c ← ¬d,d ← e,e ← d,f ← a,f ← g,g ← a,g ← ¬c,h ← ¬a,← c ∧ h,← b ∧ a}(2) Fixpoint computation and stable model condition can be defined
through linear transformations in vector spaces
LLM

Explanation
inNaturalLanguage

Training

LLM

From Natural Language LLM can generate Logical Statements
LLM can translate to Natural Language from Logical Statements tocreate better quality of synthetic data

Contact: Katsumi Inoue (National Institute of Informatics)
Email: inoue@nii.ac.jp
URL: https://research.nii.ac.jp/il(3) Searching for stable models can be done in linear
algebraic way(4) Experimental results