2023/05/13理研AIP言語情報アクセス技術チーム研究パートタイマー林歓樹
'
知識グラフを利用する研究が盛ん
-    LINE、早大は常識知識グラフ( CSKG)の人手+LLMによる構築に力を入れている-和製chatGPTの開発着手を2023/05/10に発表！ (LINEとソフトバンク) -対話応答生成時に関連エンティティ+エンティティの要約を入力する研究-応答生成時に用いるエンティティを記号化して知識の用い方に着目した学習を行う研究' GNN ' - GNNで構築された文献グラフに関する研究-外部ツールとの連携-複数の外部ツールを用いたChain of Thought手法で数値計算タスクを解く研究-  KG × BERT -     KBから抽出した埋め込み表現をBERTの埋め込み表現に連結してタスクを解く研究
井手竜也！榮田亮真！河原大輔！山崎天²李聖哲²新里顕大²佐藤敏紀² 1早稲田大学理工学術院   ² LINE株式会社常識に基づく対話応答生成に向けた対話常識グラフの提案（今後公開予定)
木と佐藤の二人が会話している。が反対と思うている、と佐藤は考える。そして、佐藤は恥ずかしいと思う。 「まってwww服事表反対でご飯食べに来てたwww」木が早く落替えて来てとかギャグかと思った、と佐藤は考える。そして、佐俺は必ずかしてきると思う。 「ええなんで寒寒」いつから反対だったのかと思っている、と佐藤は考える。そして、佐藤敗とか次敗したが、大したミスではないとか慌てて行かないとと思う。佐摩町夕飯行く前に横てたから服務え直したんだけどその時にミスってwww.]がなっちょこちょいだとか私ずからいと思った、と佐藤は考える。そして、佐藤はアカやろうと思う。 「気づいた時恥ずかしい笑笑」木が恥ずかしいとかどうしてそうなるのか、と思っている、と佐藤は考える。て、佐藤は恥ずかしいと思う。佐藤「いやほんとはずかしかったwww」 https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/H1-4.pdf
井手竜也1 村田栄樹1 堀尾海斗1 河原大輔1山崎天²李聖哲²新里顕大2 佐藤敏紀2 1早稲田大学理工学術院　² LINE株式会社クラウドソーシングと大規模言語モデルを併用して知識グラフを構築する手法を提案知識の記述に関して、少しの例から多くの例を作成してもらう、という意味で両者は本質的に同じクラウドソーシングによって小規模な知識グラフを材築し、それをプロンプトに用いることで大規模言語をデルが持つ知識を抽出時間的、金銭的コストを削減することを期待'小規模な知識モデル(GPT-2、T5)の訓練を行い、 BLEU、BERTscoreによる自動評価、人手評価を実施自動評価では、T5よりGPT-2が勝った人手評価による尤もらしさはおおむねθ割を達成提案手法の概要X ダー
反応疲れたhttps://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/B2-5.pdf
村田栄樹！井手竜也！榮田克真！河原大輔！山崎天²李聖哲²新里顕大²佐藤敏紀2 ¹早稲田大学理工学術院　² LINE株式会社
簡易的な常識モデルの訓練･評価
https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/B9-1.pdf '
郭恩宇！南泰浩1 ¹電気通信大学情報理工学研究科雑談用の対話モデルにおいて、ユーザーが提示したエンティティに関して対話を広げるために、対話履歴から次の話題となるエンティティとその要約を外部から取得し、モデルの入力文脈に追加するFine-tune手法を提案先行研究では外部知識トリプルのみを利用していたが、過去の対話履歴を持ち出せないこと、新たな話題を提示できないことなどが問題だったWikidataから構築した知識グラフから次の話題となるエンティティが存在するか確認し、次のエンティティの要約を入力文脈に追加事前学習はWikiコーパス、CC-100コーパス、ツイートリプライコーパス- Fine-tuneはツイート擬似対話コーパス' 5名の評価者に対して知識トリプルのみを用いたベースラインモデル及び提案モデルが生成した対話を提示し、自然性、妥当性、適切性について5段階評価自然性は0.66、妥当性が0.52、適切性が0.6向上'ライオン（企業）とライオン（動物）を紐付けるなどの飛躍もあった知識グラフの適切性が求められる- https://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/H1-2.pdf
粉井裕貴1 ¹神戸大学工学部情報知能工学科、²神戸大学大学院システム情報学研究科図2  エンティティ記号化を利用した応答文生成雑談対話モデルの応答文生成に関して、具体的な知識を学習するより、具体名を記号化して、知識の用い方を抽象化して学習した方が良いという仮説を検証既存手法よりも多くの知識を応答文に取り入れることが可能であることを確認既存手法のEntity Name Constrained Decoding(ENCD)では応答文のどこに知識を含めるべきか学習を行う
このまま用いると具体的な名称を学習に含めてしまいパラメ一タの無駄遣いになってしまうので、提案手法ではエンティティを記号化する外部から知識を得るのであれば、学習時にエンティティの具体的情報はいらないという仮説.エンティティをSKA、SKBなどの特殊トークンに置換して学習F1、KF1を用いて3通り(ベースライン、ENCD、提案手法)のFine-tuneをしたT5を比較提案手法が既存手法を上回った従来手法より「知識の用い方」に特化した学習ができているhttps://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/P8-11.pdf
占桐脩那井田龍希 三輪誠 佐々木裕論文の文献情報を表す文献グラフの構築における、グラフ埋め込み、GNNsを用いたリンク予測手法の利用可能性の評価先行研究ではグラフ埋め込み、GNNsを用いた手法は十分に評価できていない題目や要旨などのテキスト情報にSciBERTによって埋め込み表現を得て、TransEで表現学習リンク予測にはGralLを利用してGNNの学習を行うACL Anthologyの過去5年の文献情報(16,916件)を学習に使用3つのモデルを比較し、結果はGralL < TransE < TransE+BERT文献IDのノードと著者の関係にあるノードを予測するリンク予測タスクで評価TransE:初期表現にランダムな表現を使用TransE+BERT: SciBERTを用いた埋め込みを初期表現として使用GralL: TransE+BERT GNNsが低評価になる原因の考察グラフをスタ一型で構築したために到達するためのホップ数が大きくなっている出版年など領出する情報が悪影響を及ぼしているグラフの構築方法に改善の余地ありhttps://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/Q2-10.pdf
清丸寛一  Fei Cheng  黒橋禎夫伝郡大学LLMによる推論のさらなる高度化を目指し、検索機や電卓などの複数の外部ツールの利用を可能にするフレームワークの提案推論過程を含めて回答を生成するようにプロンプトを設計し、推論過程の一部として外部ツールを呼び出す文字列を生成えせる実行時に外部ツールの呼び出しが発生したら、推論過程を中断し、外部ツールの実行結果を推論過程に追記して推論過程を再開プロンプトは利用可能な外部ツールを明示した説明文、いくつかの問題文と解答のペア（Few-Shot事例)、解かせる問題文を結合して構成NumGLUEのTask 2(化学の専門知識を要する数値推論)を以下のツールを用いて解くCalculator: Pythonのeval function Chemical reaction predictor:反応物と生成物の入力から化学反応式を出力Molar mass list:化学式を入力としてその守る質量を出力(Zero-shot | Few-shot) × (None | CoT) × (外部ツール)の組み合わせの中から6手法を比較検討https://www.anlp.jp/proceedings/annual_meeting/2023/pdf  dir/Q8-10.pdf提案手法がSOTA
中本裕大！瀬在恭介！元川凱喜！麻生英樹²岡崎直観³ ¹SCSK株式会社　²産業技術総合研究所　³東京工業大学
BERTにドメイン固有の知識を注入するために、KG (Wikidata)を入力に結合してFine-tuneする手法の検討英語、中国語では盛んに行われているが、日本語では未検al入力文についてMeCabによって分かち書きを行い、名詞のうちKGでヒットするものを入力に追加するKGはTransEによってWikidataの埋め込み表現を獲得して'おくJGLUE、子育てFAQデータによって学習・評価' 'ほとんどのタスクで性能が向上LIMEによる属性の貢献度分析知識があることで新たに正解・不正解になる例が存在する文脈・語義に沿った知識注入のためにエンティティリンキングを正しく行う必要性があるhttps://www.anlp.jp/proceedings/annual_meeting/2023/pdf_dir/H1-2.pdf