Difyでローカルな埋め込みベクトルなどによるRAGの精度改善を検証する

# はじめに

以前にこの記事[Llama-3-ELYZA-JP-8BとDifyでRAGの性能評価をする](https://qiita.com/bari8/items/242a0ea360c5753b00a9)でRAGを試してみましたが、デフォルトの設定だと精度がいまいち向上しなかったので、デフォルトの設定から少し設定を変えたもので精度がどう変わるか試してみました。

# 概要

以下のパターンでRAGの精度を検証しました

- [DifyデフォルトのRAGの設定](#1-difyデフォルトのragの設定)
- [OpenAIのtext-embedding-3-smallによるベクトル化](#2-openaiのtext-embedding-3-smallによるベクトル化)
- [Ollamaですぐ使用可能なローカル埋め込みモデルmxbai-embed-largeによるベクトル化](#3-ollamaですぐ使用可能なローカル埋め込みモデルmxbai-embed-largeによるベクトル化)

以下それぞれ方法を含めて説明していきます。

# 1. DifyデフォルトのRAGの設定

[こちら](https://qiita.com/bari8/items/242a0ea360c5753b00a9#4-%E5%8F%96%E5%BE%97pdf%E3%82%92%E3%83%8A%E3%83%AC%E3%83%83%E3%82%B8%E3%81%A8%E3%81%97%E3%81%A6%E8%BF%BD%E5%8A%A0%E3%81%97%E3%81%A6rag%E3%81%A8%E3%81%97%E3%81%A6%E3%82%82%E3%81%86%E4%B8%80%E5%BA%A6%E7%AD%94%E3%81%88%E3%81%95%E3%81%9B%E3%82%8B)で説明していますが、インデックス方法として内臓されているベクトルエンジンやキーワードインデックスを使用してナレッジを作成します。

上記記事に詳細は記載していますが、[こちらのpdf](https://www8.cao.go.jp/cstp/bio/bio_economy.pdf)からGPT-4oで問題を10問生成させ、そのpdfをナレッジ化させて、回答精度を見ています。

```
問1　1　〇
問2　2　〇
問3　2　〇
問4　3　×
問5　1　×
問6　3　〇
問7　5　？
問8　2　〇
問9　3　〇
問10　3　〇
```

上記方法での正答率は70%でした。

# 2. OpenAIのtext-embedding-3-smallによるベクトル化

続いて埋め込みモデルを利用してナレッジの方法を変えてみます。まずはOpenAIの埋め込みモデルを利用してみます。

OpenAIの設定をする前に、Difyのデフォルト設定だとベクトルDBのコンテナが起動されないので、起動させておきます。ここではWeaviateを起動させます。

```
docker-compose --profile weaviate up -d
```

OpenAIとの接続設定をします。OpenAIで発行したAPI Keyを登録します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2983698/51ae973e-366a-d038-ca94-32d0918b7161.png)

その後Embeddingモデルを追加します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2983698/6f55f321-8840-c81b-266a-f3576ff621f0.png)

今回はライトなtext-embedding-3-smallを利用します。
ナレッジを上記埋め込みモデルを利用して、以下のように設定して作成。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2983698/c5e44034-2557-b925-8882-7576b25f2511.png)


こちらで回答させてみます。

```
問1 1　〇 
問2 2　〇
問3 8　×？
問4 3　×
問5 3　〇
問6 3　〇
問7 2　〇
問8 8　×？
問9 3　〇
問10 3　〇
```
といった結果で正答率としては70%でした。処理時間は30分少し。

<details><summary>回答の全出力はこちら</summary>

```
1 
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "表１ バイオものづくりへの期待\r\n社会課題 社会課題解決への期待 \n気候変動 ・プロセス転換による温室効果ガス（ＧＨＧ）排出量の\r\n削減\r\n・化石資源からバイオマス資源への原料転換による\r\n脱炭素化\r\n・ＣＯ₂を原料として化学合成する微生物等の活用による\r\nＣＯ₂吸収量の増加\r\n資源制約 ・バイオマス原料を活用した新たなエネルギー源の\r\n安定供給\r\n・国内の未利用資源の活用やリサイクル等、\r\nバイオ技術を活用した資源自律経済の実現\r\n自然資本の劣化や\r\n生物多様性の損失\r\n・化石燃料由来の素材からバイオ技術を活用した\r\nサステナブルな素材への転換による自然資本の負荷削減\r\n・バイオものづくりの基礎となる生物・遺伝資源の保全\r\n食料危機 ・国内生産の増大\r\n・既存品の代替による環境負荷の低減\r\n海洋汚染 ・生分解性製品の普及による海洋汚染の減少\r\n経済安全保障"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "1\r\n目次 \n１．はじめに・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・２\r\n２．振り返りと主な課題・・・・・・・・・・・・・・・・・・・・・・・・・・・４\r\n３．基本的考え方・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・６\r\n４．バイオエコノミー市場拡大に向けた施策・・・・・・・・・・・・・・・・・・８\r\n（１）バイオものづくり・バイオ由来製品・・・・・・・・・・・・・・・・・・８\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・８\r\n２）個別の産業領域について・・・・・・・・・・・・・・・・・・・・・・11\r\n３）これまでの取組・・・・・・・・・・・・・・・・・・・・・・・・・・15\r\n４）2030 年に目指す姿・・・・・・・・・・・・・・・・・・・・・・・・・17\r\n５）今後の取組の方向性・・・・・・・・・・・・・・・・・・・・・・・・17\r\n（２）持続的一次生産システム・・・・・・・・・・・・・・・・・・・・・・・25\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・25\r\n２）2030 年に目指す姿・・・・・・・・・・・・・・・・・・・・・・・・・26\r\n３）今後の取組の方向性・・・・・・・・・・・・・・・・・・・・・・・・26\r\n（３）木材活用大型建築・スマート林業・・・・・・・・・・・・・・・・・・・33\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・33\r\n２）2030"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "バイオエコノミーが貢献する主なものとしては、\r\n（１）改良した微生物や動植物の細胞等から様々な物質を生産するバイオものづくりに\r\nより、化石資源からの脱却や、資源自律経済の実現\r\n（２）ゲノム情報を駆使した新品種開発により、化学肥料等の環境負荷を減らしながら\r\n生産性を高め、食料の安定供給への貢献\r\n（３）従来の低分子医薬品に比べて分子が大きく構造が複雑なバイオ医薬品により、健\r\n康的な生活への貢献\r\n（４）健康医療情報等のデジタル化・データ連携等により、ヘルスケア領域への異分野\r\nからの参入促進、新市場の創出\r\n等が挙げられる。\r\n我が国は、独特の気候・風土・文化を背景として、バイオエコノミーの基盤となる豊\r\n富な生物資源（バイオマス資源）・遺伝資源、培養・発酵技術や、高品質な農作物品種\r\nの開発力、創薬力等の強みを多く有している"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "8\r\n４．バイオエコノミー市場拡大に向けた施策 \n \n本戦略の対象とする５つのバイオエコノミー市場ごとに、2030 年市場規模目標を掲\r\nげ、技術開発の加速化、市場環境、事業環境整備等の取組について、省庁横断的に推進\r\nする。\r\n \n（１）バイオものづくり・バイオ由来製品\r\n１）市場領域全体の動向\r\n気候変動問題の深刻化、資源制約、自然資本8の劣化や生物多様性の損失、食料危\r\n機、海洋汚染、サプライチェーンリスク等、地球規模の社会課題が顕在化している。\r\nこれらの社会課題への対応として、我が国でもＧＸや循環経済、経済安全保障、フ\r\nードテック等に関する議論が進展している。原料やプロセスのバイオ転換を図り、\r\nバイオものづくりやバイオ由来製品9の利用を推進することは、こうした社会課題\r\nの解決への寄与と同時に、経済成長を実現しうるものとして期待が高まっている"
  }
]
8
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "8\r\n４．バイオエコノミー市場拡大に向けた施策 \n \n本戦略の対象とする５つのバイオエコノミー市場ごとに、2030 年市場規模目標を掲\r\nげ、技術開発の加速化、市場環境、事業環境整備等の取組について、省庁横断的に推進\r\nする。\r\n \n（１）バイオものづくり・バイオ由来製品\r\n１）市場領域全体の動向\r\n気候変動問題の深刻化、資源制約、自然資本8の劣化や生物多様性の損失、食料危\r\n機、海洋汚染、サプライチェーンリスク等、地球規模の社会課題が顕在化している。\r\nこれらの社会課題への対応として、我が国でもＧＸや循環経済、経済安全保障、フ\r\nードテック等に関する議論が進展している。原料やプロセスのバイオ転換を図り、\r\nバイオものづくりやバイオ由来製品9の利用を推進することは、こうした社会課題\r\nの解決への寄与と同時に、経済成長を実現しうるものとして期待が高まっている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "1\r\n目次 \n１．はじめに・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・２\r\n２．振り返りと主な課題・・・・・・・・・・・・・・・・・・・・・・・・・・・４\r\n３．基本的考え方・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・６\r\n４．バイオエコノミー市場拡大に向けた施策・・・・・・・・・・・・・・・・・・８\r\n（１）バイオものづくり・バイオ由来製品・・・・・・・・・・・・・・・・・・８\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・８\r\n２）個別の産業領域について・・・・・・・・・・・・・・・・・・・・・・11\r\n３）これまでの取組・・・・・・・・・・・・・・・・・・・・・・・・・・15\r\n４）2030 年に目指す姿・・・・・・・・・・・・・・・・・・・・・・・・・17\r\n５）今後の取組の方向性・・・・・・・・・・・・・・・・・・・・・・・・17\r\n（２）持続的一次生産システム・・・・・・・・・・・・・・・・・・・・・・・25\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・25\r\n２）2030 年に目指す姿・・・・・・・・・・・・・・・・・・・・・・・・・26\r\n３）今後の取組の方向性・・・・・・・・・・・・・・・・・・・・・・・・26\r\n（３）木材活用大型建築・スマート林業・・・・・・・・・・・・・・・・・・・33\r\n１）市場領域全体の動向・・・・・・・・・・・・・・・・・・・・・・・・33\r\n２）2030"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "6\r\n３．基本的考え方 \n持続的な経済成長と環境・食料・健康等の諸課題の解決の両立に資するよう、バイオ\r\nエコノミー市場の拡大を通じて、「全ての産業が連動した循環型社会」、「多様化するニ\r\nーズを満たす持続的一次生産が行われている社会」、「持続的な製造法で素材や資材をバ\r\nイオ化している社会」、「医療とヘルスケアが連携した末永く社会参加できる社会」5を\r\n目指す。\r\nこれらの社会像の実現に向け、我が国の特徴・強みと世界の潮流、市場の成長性等を\r\n考慮して、以下の５つの市場6を本戦略で拡大を目指すバイオエコノミー市場として設\r\n定し、民間の投資の喚起を通じて、2030 年に国内外で 100 兆円規模の市場創出を目指\r\nす取組を推進する。市場ごとに 2030 年に目指す姿を描き、バックキャストでその実現\r\nに向け、技術開発の加速化、市場環境、事業環境の整備等の政策の方向を示し、基礎研\r\n究から実用化・普及に至るパスを強化し、産学官金が連携した取組を推進する"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "17\r\n４）2030 年に目指す姿\r\n① 市場規模目標\r\n53.3 兆円\r\n（関連指標）\r\n・2030 年までにバイオものづくりへの官民投資を年間３兆円規模へ拡大。\r\n・2030 年までにバイオマスプラスチック約 200 万トンを導入。\r\n② 具体的な姿\r\n中長期的に、国際社会でバイオエコノミーは大幅に拡大する見込み。その際\r\nに、日本が国際競争力を保持している状態を目指す。そのため、2030 年時点で、\r\n各産業でのバイオものづくりへの転換が進み、バイオものづくり拡大の初期段階\r\nとして、特に高付加価値な製品領域における市場獲得が活発化している状態を目\r\n指す。また、国内での未利用資源の活用が進展し、国内におけるサプライチェー\r\nン強靭性が向上している状態を目指す。\r\nこれらを通じ、バイオものづくりによる日本企業の国際競争力の向上、脱炭素\r\n化・循環経済の実現等の社会課題への対応の進展を目指す"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "バイオエコノミー戦略 \n令和６年６月３日 \n統合イノベーション戦略推進会議決定"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "また、\r\n人間が安全に活動できる範囲を越えることで、人間が依存する自然資源に対して回復不\r\n可能な変化が引き起こされるという地球の限界（プラネタリー・バウンダリー）が指摘\r\nされ、プラネタリーヘルスの観点（人間・社会・自然生態のトータルな健康を地球規模\r\nで目指す考え方）から健康・医療・食料などを統合した取組への気運も高まっている。\r\n米国は、2022 年９月に、バイオテクノロジー関連産業の国内回帰の促進と国内サプ\r\nライチェーンの強化などを目的とした「持続可能で安全・安心な米国バイオエコノミー\r\nのためのバイオテクノロジーとバイオものづくりイノベーション推進に関する大統領\r\n令」に署名し、バイオものづくりが今後 10 年以内に世界の製造業の３分の１を置き換\r\nえ、その市場規模が最大で 30 兆ドル（約 4,000 兆円）2に達しうると分析し、バイオも\r\nのづくりの拡大等に向けた集中的な投資を行う方針を明らかにした"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "バイオエコノミー戦略 \n令和６年６月３日 \n統合イノベーション戦略推進会議決定"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "これらの強みを生かしてバイオエコノミ\r\nー市場の拡大を図るためには、バイオマス原料の制約や、農業者の減少・高齢化、創薬\r\n産業の空洞化、基礎生命科学の研究力の低下、イノベーション・エコシステムの強化等\r\nの課題に対応しながら、官民が連携してターゲットとする市場ごとに技術開発の加速化、\r\n市場環境や事業環境の整備に取り組んでいく必要がある。また、基礎生命科学の研究力\r\nの強化やそれを支える人材育成等にも取り組んでいく必要がある。\r\n本戦略は、バイオエコノミー市場拡大に向けて、2019 年に策定した「バイオ戦略」\r\nから、「バイオエコノミー戦略」に名称を改め、最新の国内外の動向等を踏まえ、\r\n2030 年に向けた科学技術・イノベーション政策の取組の方向を取りまとめたものであ\r\nる"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "これ\r\nらを踏まえると、ターゲットとする市場については、まずは高付加価値領域に注\r\n力し、次に低コスト化や量産・横展開に向けた技術開発と社会課題解決のために\r\n必要な規制や市場の在り方の検討を進め、中長期的に汎用品の市場領域を目指す\r\n段階的な戦略が重要である。\r\n２）個別の産業領域について\r\n足下の技術動向を踏まえると、バイオマスやバイオテクノロジーは、化学・素\r\n材、繊維、紙・パルプ、化粧品・香料、食品、燃料といった幅広い産業領域での\r\n活用が見込まれる。バイオものづくりは、グローバルな社会課題の解決に寄与す\r\nることが期待されるものの、産業領域ごとに対応が求められる社会課題や適切な\r\nバイオ利活用の在り方は異なる。以下、産業領域ごとの動向やバイオ利活用・転\r\n換に向けた見通しを示す。\r\n（化学・素材領域）\r\n化学産業は全産業のＣＯ₂排出量の 2 割程度を占め、カーボンニュートラルの実\r\n現が大きな課題となっている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "8\r\n４．バイオエコノミー市場拡大に向けた施策 \n \n本戦略の対象とする５つのバイオエコノミー市場ごとに、2030 年市場規模目標を掲\r\nげ、技術開発の加速化、市場環境、事業環境整備等の取組について、省庁横断的に推進\r\nする。\r\n \n（１）バイオものづくり・バイオ由来製品\r\n１）市場領域全体の動向\r\n気候変動問題の深刻化、資源制約、自然資本8の劣化や生物多様性の損失、食料危\r\n機、海洋汚染、サプライチェーンリスク等、地球規模の社会課題が顕在化している。\r\nこれらの社会課題への対応として、我が国でもＧＸや循環経済、経済安全保障、フ\r\nードテック等に関する議論が進展している。原料やプロセスのバイオ転換を図り、\r\nバイオものづくりやバイオ由来製品9の利用を推進することは、こうした社会課題\r\nの解決への寄与と同時に、経済成長を実現しうるものとして期待が高まっている"
  }
]
8
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "8\r\n４．バイオエコノミー市場拡大に向けた施策 \n \n本戦略の対象とする５つのバイオエコノミー市場ごとに、2030 年市場規模目標を掲\r\nげ、技術開発の加速化、市場環境、事業環境整備等の取組について、省庁横断的に推進\r\nする。\r\n \n（１）バイオものづくり・バイオ由来製品\r\n１）市場領域全体の動向\r\n気候変動問題の深刻化、資源制約、自然資本8の劣化や生物多様性の損失、食料危\r\n機、海洋汚染、サプライチェーンリスク等、地球規模の社会課題が顕在化している。\r\nこれらの社会課題への対応として、我が国でもＧＸや循環経済、経済安全保障、フ\r\nードテック等に関する議論が進展している。原料やプロセスのバイオ転換を図り、\r\nバイオものづくりやバイオ由来製品9の利用を推進することは、こうした社会課題\r\nの解決への寄与と同時に、経済成長を実現しうるものとして期待が高まっている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "56\r\n（３）データ基盤の整備\r\n経済社会のあらゆる面でデータを起点とした価値創造が注目され、その基盤とな\r\nるデジタル化とデータ連携・利活用の重要性が飛躍的に高まっている。また、生成Ａ\r\nＩの基盤モデル（ＬＬＭ/ＬＭＭ）のようにデータの質を量で補いうる技術の登場や、\r\nデータ形式の標準化や秘密計算技術等により、コストや個人情報保護の問題を回避\r\nできる可能性がある。\r\nバイオ分野は生命現象という共通の科学的知識に立脚しながらも多種多様な産業\r\n上の出口を有しており、質の高いデジタルデータの創出とその連携・利活用を通じて\r\n新たな科学的知識の創出や産業競争力の強化につなげていく必要がある。\r\nその際、現状想定されるバイオエコノミー市場の領域内の取組とともに、広く様々\r\nな領域を横断して、情報を介して人がつながり、新しい領域をひらく環境となるデー\r\nタ基盤を整備していく取組が重要である"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "8\r\n４．バイオエコノミー市場拡大に向けた施策 \n \n本戦略の対象とする５つのバイオエコノミー市場ごとに、2030 年市場規模目標を掲\r\nげ、技術開発の加速化、市場環境、事業環境整備等の取組について、省庁横断的に推進\r\nする。\r\n \n（１）バイオものづくり・バイオ由来製品\r\n１）市場領域全体の動向\r\n気候変動問題の深刻化、資源制約、自然資本8の劣化や生物多様性の損失、食料危\r\n機、海洋汚染、サプライチェーンリスク等、地球規模の社会課題が顕在化している。\r\nこれらの社会課題への対応として、我が国でもＧＸや循環経済、経済安全保障、フ\r\nードテック等に関する議論が進展している。原料やプロセスのバイオ転換を図り、\r\nバイオものづくりやバイオ由来製品9の利用を推進することは、こうした社会課題\r\nの解決への寄与と同時に、経済成長を実現しうるものとして期待が高まっている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "6\r\n３．基本的考え方 \n持続的な経済成長と環境・食料・健康等の諸課題の解決の両立に資するよう、バイオ\r\nエコノミー市場の拡大を通じて、「全ての産業が連動した循環型社会」、「多様化するニ\r\nーズを満たす持続的一次生産が行われている社会」、「持続的な製造法で素材や資材をバ\r\nイオ化している社会」、「医療とヘルスケアが連携した末永く社会参加できる社会」5を\r\n目指す。\r\nこれらの社会像の実現に向け、我が国の特徴・強みと世界の潮流、市場の成長性等を\r\n考慮して、以下の５つの市場6を本戦略で拡大を目指すバイオエコノミー市場として設\r\n定し、民間の投資の喚起を通じて、2030 年に国内外で 100 兆円規模の市場創出を目指\r\nす取組を推進する。市場ごとに 2030 年に目指す姿を描き、バックキャストでその実現\r\nに向け、技術開発の加速化、市場環境、事業環境の整備等の政策の方向を示し、基礎研\r\n究から実用化・普及に至るパスを強化し、産学官金が連携した取組を推進する"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf2",
    "content": "54\r\n（２）バイオコミュニティの機能発揮に向けた取組の推進\r\nバイオエコノミー市場の拡大に向けて、国内外から人材・投資を呼び込み、市場に\r\n製品・サービスを供給するための体制（イノベーション・エコシステム）を強化し、\r\n世界市場に進出していくことが必要である。このため、国際拠点を中核として各地域\r\nをネットワーク化し、世界最高レベルの研究環境と海外投資も活用できる事業化支\r\n援体制を組み合わせ、国際連携・分野融合・オープンイノベーションを基軸に据え、\r\n国内外から人材・投資を呼び込めるシステムを整備する「バイオコミュニティ」の取\r\n組を推進する"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf2",
    "content": "58\r\n６．バイオエコノミー戦略の推進体制 \n 本戦略は、内閣府科学技術・イノベーション推進事務局が司令塔となって、AI、量子\r\n等の他分野の取組と連携して推進する。バイオエコノミー市場拡大に向けた施策につい\r\nては、以下の省庁が取りまとめ、関係府省が連携して推進する。\r\n全体：内閣府科学技術・イノベーション推進事務局\r\nバイオエコノミー市場拡大に向けた施策：\r\n（１）バイオものづくり・バイオ由来製品・・・経済産業省\r\n（２）持続的一次生産システム ・・・農林水産省\r\n（３）木材活用大型建築・スマート林業 ・・・林野庁\r\n（４）バイオ医薬品・再生治療・細胞治療・遺伝子治療関連産業\r\n ・・・内閣府健康・医療戦略推進事務局\r\n（５）生活習慣改善ヘルスケア、デジタルヘルス\r\n ・・・経済産業省"
  }
]

```
</details>

# 3. Ollamaですぐ使用可能なローカル埋め込みモデルmxbai-embed-largeによるベクトル化

今度はOllamaでmxbai-embed-largeを使えるようにします。完全にローカルな環境だと、先ほどのOpenAIの埋め込みモデルの利用はできないので、このようなモデルを利用していくことになります。
Ollamaの設定については[こちらの記事](https://qiita.com/bari8/items/87910c08de4f96d37f1b)をご参照ください。
またこちらの記事[Dify+OllamaでRAGチャットボットを作る](https://zenn.dev/shohei6117/scraps/90393b95105072#comment-95ccb074eac6a9)も参考にさせて頂きました。


```
sudo docker exec -it ollama  ollama pull mxbai-embed-large
```

続いてDifyのモデルプロバイダーの設定からOllamaを選んでText Embeddingとしてmxbai-embed-largeを追加します。

Model Name: mxbai-embed-large
Base URL: http://host.docker.internal:11434
Model context size: 512

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2983698/a9752296-5b3d-b190-6423-0e404a148a62.png)

これによってナレッジの設定で埋め込みモデルとしてmxbai-embed-largeが選べるようになるので、それを指定して、ベクトル検索を設定します。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2983698/5b23627b-9af1-bb91-2972-24cc65fc555a.png)

こちらで先ほどの問題を回答させました。

```
問1 2　×
問2 2　〇
問3 2　〇
問4 2　〇
問5 1　×
問6 3　〇
問7 2　〇
問8 5　×
問9 3　〇
問10 3　〇
```

といった結果で正答率としてはこれまた70%でした。差が見えないので問題を見直した方がいいかもしれませんね。処理時間は37分。

<details><summary>回答の全出力はこちら</summary>

```
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "カーボンニュートラルの実現に向けては、ナフサ\r\n分解炉の熱源や石炭火力等の燃料をアンモニア等の脱炭素燃料へ切り替える「燃\r\n料転換」と、石油由来のナフサの原料からバイオマス由来の原料へ転換する「原\r\n料転換」（バイオエタノール等からの化学品製造）を並行して進めることが重要\r\nである。特に「原料転換」については、重合プロセス等では既存設備の活用も可\r\n能なことから、バイオ利活用のポテンシャルは大きい。微生物を用いた基礎化学\r\n品や高機能モノマー等の生産に取り組む企業も出てきている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "12\r\nプラスチックについては、化石資源をはじめとする枯渇性資源の使用削減、温\r\n室効果ガスの排出抑制、海洋プラスチックごみ等による環境汚染への対応が世界\r\n的課題となっている。バイオプラスチックは、化石資源の使用削減やＧＨＧ排出\r\n削減、また海でＣＯ₂と水にまで生分解される性質をもつ海洋生分解性プラスチッ\r\nクは海洋汚染防止の効果も期待できる。我が国はプラスチックの適正処理・３Ｒ\r\n等のノウハウが豊富であるとともに、豊富に賦存するバイオマス資源・遺伝資源\r\nと競争力のある素材物性情報はバイオプラスチックの開発において有望な資源で\r\nある"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "10\r\nバイオものづくり等によるバイオ由来製品の製造を推進するに当たって、我が\r\n国は以下の強みを有していると考えられる。\r\n①豊富な生物資源・遺伝資源を有すること\r\n我が国は、多様な気候条件や山地、海洋などの地理的環境を有し、また多くの\r\n企業が拠点を置く東南アジアとの国際連携が容易なことなどから、バイオマス資\r\n源や生物多様性に富んだ遺伝資源にアクセスしやすい環境にある。\r\n②発酵法が発達していること\r\n我が国では古くから味噌、酒、醤油などの発酵食品を製造してきたため、微生\r\n物の取扱いをはじめとした発酵による製造手法に関する技術の蓄積がある"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "12\r\nプラスチックについては、化石資源をはじめとする枯渇性資源の使用削減、温\r\n室効果ガスの排出抑制、海洋プラスチックごみ等による環境汚染への対応が世界\r\n的課題となっている。バイオプラスチックは、化石資源の使用削減やＧＨＧ排出\r\n削減、また海でＣＯ₂と水にまで生分解される性質をもつ海洋生分解性プラスチッ\r\nクは海洋汚染防止の効果も期待できる。我が国はプラスチックの適正処理・３Ｒ\r\n等のノウハウが豊富であるとともに、豊富に賦存するバイオマス資源・遺伝資源\r\nと競争力のある素材物性情報はバイオプラスチックの開発において有望な資源で\r\nある"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "その際、バイオエコノミーに期待される環境・食料・健康等の社会課題解決への貢献\r\nの可能性について、科学的知見に基づき適切に評価し、より社会課題解決への貢献が期\r\n待されるものとなるよう留意する。さらに、バイオエコノミー市場は、バイオテクノロ\r\nジーやバイオマスの開発・活用を図るという点で共通しており、多種多様な製品・サー\r\nビスの展開が可能である。規制やルールの形成、活用する技術、資源の循環利用、デー\r\nタの連携・利活用などにおいて、共通するもの、密接に関係しあうものも多い"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "さらに、バイオは横断的な領域であるため、省庁間で連携した規制・ルールの\r\n調整も事業環境整備の面で重要である。特に、バイオものづくりを推進する社会\r\n的意義にも直結する気候変動や循環経済、経済安全保障、自然資本や生物多様性\r\nの保全等に関する国際的な議論やルール形成の動きに対して、我が国として必要\r\nな対応を適切に講じていくことが必要である。さらに、最先端のバイオ技術や製\r\n品に適合しない定義や制度等が生じてくるため、社会実装に合わせた柔軟な定義\r\nや制度等の見直しを行っていくことが必要である。"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "これらの社会像の実現に向け、我が国の特徴・強みと世界の潮流、市場の成長性等を\r\n考慮して、以下の５つの市場6を本戦略で拡大を目指すバイオエコノミー市場として設\r\n定し、民間の投資の喚起を通じて、2030 年に国内外で 100 兆円規模の市場創出を目指\r\nす取組を推進する。市場ごとに 2030 年に目指す姿を描き、バックキャストでその実現\r\nに向け、技術開発の加速化、市場環境、事業環境の整備等の政策の方向を示し、基礎研\r\n究から実用化・普及に至るパスを強化し、産学官金が連携した取組を推進する"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "また、国内での未利用資源の活用が進展し、国内におけるサプライチェー\r\nン強靭性が向上している状態を目指す。\r\nこれらを通じ、バイオものづくりによる日本企業の国際競争力の向上、脱炭素\r\n化・循環経済の実現等の社会課題への対応の進展を目指す。\r\nバイオものづくりの持続的な拡大の指標として、2030 年までに官民合わせて年\r\n間投資を３兆円規模に拡大することを目指す。バイオプラスチックについては、\r\nバイオプラスチック導入ロードマップに基づき、2030 年までにバイオマスプラス\r\nチックを最大限（約 200 万トン）の導入を目指す"
  }
]
1
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "4\r\n２．振り返りと主な課題 \n2019 年のバイオ戦略策定以降、戦略の更新・フォローアップも行いながら、バイオエ\r\nコノミー市場拡大に向けた取組、国内外から人材・投資を呼びこみ、市場に製品・サー\r\nビスを供給するバイオコミュニティの形成、研究開発・事業化に必要なデータ連携・利\r\n活用の取組を推進してきた。\r\n市場創出に向けた新たなプレイヤーの台頭として、バイオものづくりに関して、微生\r\n物・細胞設計プラットフォーム技術等の高いバイオ技術を有するスタートアップへの投\r\n資や大企業におけるバイオプロセス転換の動きが活発化するとともに、バイオファウン\r\nドリ事業を共同で推進するなどのスタートアップや大企業間の連携の動きが出てきて\r\nいる"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "また、基礎生命科学の研究力\r\nの強化やそれを支える人材育成等にも取り組んでいく必要がある。\r\n本戦略は、バイオエコノミー市場拡大に向けて、2019 年に策定した「バイオ戦略」\r\nから、「バイオエコノミー戦略」に名称を改め、最新の国内外の動向等を踏まえ、\r\n2030 年に向けた科学技術・イノベーション政策の取組の方向を取りまとめたものであ\r\nる。\r\n3 主なものとして、「グリーンイノベーション基金事業」、「バイオものづくり革命推進事業」、「革新的ＧＸ技術創出事\r\n業（ＧｔｅＸ）」、「ワクチン生産体制強化のためのバイオ医薬品製造拠点等整備事業」、「創薬ベンチャーエコシステム\r\n強化事業」。"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "4\r\n２．振り返りと主な課題 \n2019 年のバイオ戦略策定以降、戦略の更新・フォローアップも行いながら、バイオエ\r\nコノミー市場拡大に向けた取組、国内外から人材・投資を呼びこみ、市場に製品・サー\r\nビスを供給するバイオコミュニティの形成、研究開発・事業化に必要なデータ連携・利\r\n活用の取組を推進してきた。\r\n市場創出に向けた新たなプレイヤーの台頭として、バイオものづくりに関して、微生\r\n物・細胞設計プラットフォーム技術等の高いバイオ技術を有するスタートアップへの投\r\n資や大企業におけるバイオプロセス転換の動きが活発化するとともに、バイオファウン\r\nドリ事業を共同で推進するなどのスタートアップや大企業間の連携の動きが出てきて\r\nいる"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "（文部科学省）\r\n・カーボンニュートラル実現に向けて、非連続的なイノベーションをもたらす革\r\n新的技術創出に向けた基盤研究や人材育成の取組を強化するため、2022 年度補\r\n正予算において「革新的ＧＸ技術創出事業（ＧｔｅＸ）」を措置。日本のアカ\r\nデミアの将来的な貢献が特に期待できる領域としてバイオものづくりを設定\r\nし、2023 年度よりプロジェクトを開始。\r\n・カーボンニュートラル実現への貢献に向けてゲームチェンジングな技術シーズ\r\nを創出するため、2023 年度より「戦略的創造研究推進事業先端的カーボンニュ\r\nートラル技術開発（ＡＬＣＡ-Next）」を開始"
  }
]
2
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "カーボンニュートラルの実現に向けては、ナフサ\r\n分解炉の熱源や石炭火力等の燃料をアンモニア等の脱炭素燃料へ切り替える「燃\r\n料転換」と、石油由来のナフサの原料からバイオマス由来の原料へ転換する「原\r\n料転換」（バイオエタノール等からの化学品製造）を並行して進めることが重要\r\nである。特に「原料転換」については、重合プロセス等では既存設備の活用も可\r\n能なことから、バイオ利活用のポテンシャルは大きい。微生物を用いた基礎化学\r\n品や高機能モノマー等の生産に取り組む企業も出てきている"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "18\r\nくから日本が取り組んできた培養・発酵等の生産プロセスにも注力する。その上\r\nで、未利用資源の活用等によって原料制約の解消も並行して模索していく。\r\n市場環境の観点では、バイオ由来製品の市場創出・拡大に当たっての最大の課\r\n題はコスト競争力である。化石資源由来で化学プロセスによって生産されたコス\r\nト競争力に優れる製品をバイオ由来製品に代替するには、新規の設備投資に加え\r\nて生産性の低下等のプロセスコストの上昇が見込まれる。需要側に対してバイオ\r\n由来製品の付加価値の訴求が不十分な中、市場原理に任せるのみではバイオ由来\r\n製品の需要が見通せない"
  }
]
5
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "5\r\nバイオ分野の投資の拡大に伴い、新たな産業や研究を見据えて必要となる将来人材\r\nの育成・確保、研究力の強化、新たなサプライチェーンに応じた周辺産業の育成が必要\r\nである。従来の市場を横断したデータ連携・利活用の推進に向けた環境整備や、バイオ\r\nコミュニティ等のイノベーション・エコシステムの機能の発揮による、新たなビジネス\r\nモデルの創出を推進していく必要がある。"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "また、農業分野における生成ＡＩ等の開発をさらに進めるため、ＷＡＧＲＩ等の農\r\n業データ連携基盤や農研機構のスーパーコンピューター「紫峰」等のインフラを充\r\n実・強化する。\r\n農林水産業・食品産業の持続性を高めるため、「みどりの食料システム戦略」の\r\n実現に向け、品種開発の加速化、気候変動などの新たな課題解決に向けた行動変容、\r\nバイオ技術を活用したイノベーション創出、川上から川下までが参画した現場のニ\r\nーズに対応した研究開発を国主導で推進する"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "このため、挑戦的・探索的・萌芽的な基礎研究を推\r\n進するとともに、中長期的な社会ニーズ、ＥＬＳＩの観点や研究動向を見据え、\r\n① オルガノイドによる生命現象の再現等を通じた、生命の発生・再生から老化ま\r\nでの一連のプロセスである「ライフコース」に着目した研究（その際、ライフ\r\nコースの早期に焦点を当て、生殖医療や幼年期の発達支援、小児医療へ基礎研\r\n究から貢献していく観点も重要）\r\n②"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "このように新たなバイオエコノミー市場拡大に向けた進展に伴い、以下のような対\r\n応すべき課題も顕在化してきており、取組を強化していく必要がある。\r\n新たなバイオエコノミー市場の形成に向けては、バイオ由来製品等の新たな製品・サ\r\nービスの需要の拡大に向けて、産業ごとのコスト競争力の課題等の分析を踏まえ、従来\r\nの技術・製品から転換していくための戦略的な取組を示し、市場の予見性を高め、国内\r\n外の人材・投資の呼び込みを喚起していくことが必要である"
  }
]
3
Retriever Resources: [
  {
    "position": 1,
    "document_name": "bio_economy.pdf",
    "content": "具体\r\n的には、経済産業省のグリーンイノベーション基金事業・バイオものづくり革命推\r\n進事業においては、サプライチェーンを俯瞰したテーマ組成を行うとともに、テー\r\nマ間の協調領域（ライフサイクルアセスメント：ＬＣＡ）や国際標準化、ブランデ\r\nィング手法、データ等において企業間連携を推進し、意欲あるプレイヤーを中心に\r\nルール形成を進めていくなど、市場獲得に向けた戦略的な取組を進める"
  },
  {
    "position": 2,
    "document_name": "bio_economy.pdf",
    "content": "と連携しながら、スマート農業技術に適合した栽培体系\r\nの見直し等の生産方式の転換を促すこととし、さらに、これらを税制・金融等によ\r\nり一体的に支援できるよう、「農業の生産性の向上のためのスマート農業技術の活"
  }
]

```
</details>


今回はこの辺で。