λͺ¨λΈ κ°μ
μ΄ νλ‘μ νΈλ λκ·λͺ¨ ν¬μ€μΌμ΄ λ°μ΄ν°μ μ κΈ°λ°μΌλ‘ μ¬μ©μκ° μ λ’°μ± μλ μλ£ μ 보λ₯Ό μΈμ μ΄λμλ μ»μ μ μλλ‘ λλ νλ«νΌ ꡬμΆμ λͺ©νλ‘ νμμ΅λλ€. μ΄κ±°λ AI ν¬μ€μΌμ΄ μ§μμλ΅ λ°μ΄ν°λ₯Ό νμ©νμ¬ μλ£ λΆμΌμ μ λ¬Έ μ§μμ ν¬ν¨ν λκ·λͺ¨ AI λͺ¨λΈμ κΈ°λ°μΌλ‘ νλ©°, νμλ€μκ² μ μνκ³ μ νν μλ£ μ 보λ₯Ό μ 곡ν©λλ€.
λͺ¨λΈ μμΈ μ€λͺ
- λͺ¨λΈλͺ : RAFT + RAG κΈ°λ° μλ£ μλ΄ μ±λ΄
- κΈ°λ° λͺ¨λΈ: Gemma-2-2b-it
- νμ΅ λ°©λ²: GPT 4o-miniλ₯Ό νμ©ν λ°μ΄ν° μ¦κ° λ° RAFT λ°©λ² μ μ©
- μν€ν μ²: Gemma-2-2b-itκ³Ό λμΌν ꡬ쑰 μ¬μ©
λ°μ΄ν°μ
- λ°μ΄ν°μ μ΄λ¦: μ΄κ±°λ AI ν¬μ€μΌμ΄ μ§μμλ΅ λ°μ΄ν°
- μΆμ²: AI νλΈ
- λ°μ΄ν° ꡬμ±:
- 40%: μ λ΅μ΄ ν¬ν¨λ λ¬Έμ 1κ° + μ λ΅κ³Ό κ΄λ ¨ μλ λ¬Έμ 1κ°
- 60%: μ λ΅κ³Ό κ΄λ ¨ μλ λ¬Έμ 2κ°
νμ΅ λ°©λ²
λͺ¨λΈμ GPT 4o-miniλ₯Ό νμ©ν λ°μ΄ν° μ¦κ° κΈ°λ²κ³Ό RAFT(Adapting Language Model to Domain Specific RAG) λ°©λ²μ μ μ©νμ¬ νμ΅λμμ΅λλ€. μ΄λ¬ν λ°©λ²μ ν΅ν΄ λͺ¨λΈμ 볡μ‘ν λ¬Έλ§₯ μ΄ν΄μ μ νν μ 보 κ²μ λ₯λ ₯μ ν₯μμμΌ°μ΅λλ€.
μμ
<bos><start_of_turn>user
<Question>: μ‘±μ κ·Όλ§μΌ μ¬νμ μν΄ μ΄λ€ μ‘°μΉλ₯Ό μ·¨ν΄μΌ νλμ?
<Documents>: [
'μ‘±μ κ·Όλ§μΌ μ¬νμ λ° κ±΄κ°μ ν볡νκ³ ν΅μ¦μ μννκΈ° μν΄ λ€μν μ‘°μΉλ€μ μ·¨νλ κ²μ΄ μ€μν©λλ€. ...',
'μΈμ ν μ€νΈλ μ€ μ₯μ μΉλ£λ₯Ό μν΄ μ½λ¬Ό μΉλ£κ° μ νλ μ μμ΅λλ€. ...'
]
<end_of_turn>
<start_of_turn>model
<Answer>: μ‘±μ κ·Όλ§μΌ μ¬νμ μν΄ μ·¨ν΄μΌ ν μ‘°μΉλ λ€μκ³Ό κ°μ΅λλ€: ...
<end_of_turn><eos>
μμ
μ§λ¬Έ:
λν΅μ΄ μμ£Ό λ°μνλ μ΄μ κ° κΆκΈν©λλ€. μ€νΈλ μ€ λλ¬ΈμΌκΉμ, μλλ©΄ λ€λ₯Έ κ±΄κ° λ¬Έμ μΌκΉμ? μ΄λ€ μν©μμ λν΅μ΄ μ¬ν΄μ§λμ§μ ν¨κ» μ£Όμν μ μ μκ³ μΆμ΄μ.
λ΅λ³:
## λν΅μ μμΈ
λν΅μ μ¬λ¬ κ°μ§ μμΈμΌλ‘ λ°μν μ μμ΅λλ€. κ°μ₯ μΌλ°μ μΈ μμΈμΌλ‘λ λ€μκ³Ό κ°μ κ²λ€μ΄ μμ΅λλ€:
1. **μ€νΈλ μ€**: μΌμμνμμμ μ€νΈλ μ€λ λν΅μ μ λ°ν μ μμ΅λλ€. νΉν μ
무λ νμ
, κ°μ‘± κ΄κ³μμμ μλ°κ°μ΄ λν΅μ μ
νμν¬ μ μμ΅λλ€.
2. **μ 체μ μμΈ**: κ·Όμ‘μ κΈ΄μ₯, νμ‘ μν λ¬Έμ , νΈλ₯΄λͺ¬ λ³ν λ± μ 체μ μΈ μμΈλ λν΅μ μ λ°ν μ μμ΅λλ€.
3. **μμ κ²°ν**: λΉνλ―Ό B6 κ²°νμ΄λ λ¨λ°±μ§ λΆμ‘±μ λν΅μ μΌμΌν¬ μ μμ΅λλ€.
4. **μ½λ¬Ό**: νΉμ μ½λ¬Ό, νΉν νμ°μΈμ λ μ§ν΅μ λ±μ΄ λν΅μ μ λ°ν μ μμ΅λλ€.
5. **λΉλ§**: 체μ€μ΄ κ³Όλ€νλ©΄ νμ‘μνμ΄ μ νλμ΄ λν΅μ΄ λ°μν μ μμ΅λλ€.
## λν΅μ μ£Όμμ
λν΅μ΄ μμ£Ό λ°μνλ κ²½μ°, λ€μκ³Ό κ°μ μ£Όμμ μ λ°λ₯΄λ κ²μ΄ μ€μν©λλ€:
- **μ€νΈλ μ€ κ΄λ¦¬**: μ€νΈλ μ€λ₯Ό μ€μ΄κΈ° μν΄ λͺ
μ, μκ°, μ¬νΈν‘ λ±μ λ°©λ²μ μλν΄λ³΄μΈμ.
- **건κ°ν μμ΅κ΄**: κ· ν μ‘ν μμ¬λ₯Ό νκ³ , κ³Όμμ΄λ νμνλ¬Ό κ³Όλ€ μμ·¨λ₯Ό νΌνμΈμ.
- **κ·μΉμ μΈ μ΄λ**: λ§€μΌ μ§§μ μ΄λμ ν΅ν΄ νμ‘μνμ κ°μ νκ³ μ€νΈλ μ€λ₯Ό μ€μ΄λ λ° λμμ΄ λ©λλ€.
- **μΆ©λΆν μλ©΄**: κ·μΉμ μΈ μλ©΄ ν¨ν΄μ μ μ§νκ³ , μ μκΈ° μ μλ μ€νΈλ μ€λ₯Ό μ€μ΄λ κ²μ΄ μ€μν©λλ€.
- **μ λ¬Έκ° μλ΄**: λν΅μ΄ λ°λ³΅μ μΌλ‘ λ°μνκ±°λ μ¬κ°ν μ¦μμ΄ μμ κ²½μ°, μμ¬μ μλ΄νμ¬ μ μ ν μ§λ¨κ³Ό μΉλ£λ₯Ό λ°λ κ²μ΄ νμν©λλ€.
λν΅μ μΌλ°μ μΌλ‘ μΌμμνμ ν° μ§μ₯μ μ£Όμ§ μμ§λ§, λ§μ½ μμ£Ό λ°μνκ±°λ μ¬κ°ν μ¦μμ΄ λνλλ€λ©΄ μ λ¬Έκ°μ λμμ λ°λ κ²μ΄ μ’μ΅λλ€.
νκ° κ²°κ³Ό
λ³Έ μ°κ΅¬μμλ RAFT + RAG λͺ¨λΈκ³Ό κΈ°μ‘΄ λͺ¨λΈμΈ Gemma-2-2b-itμ λΉκ΅νμ¬ RAGAS: Automated Evaluation of Retrieval Augmented Generation λ°©λ²λ‘ μ μ¬μ©νμ¬ λ΅λ³ μ μ¬λλ₯Ό νκ°νμ΅λλ€.
- Gemma-2-2b-it λͺ¨λΈ: νκ· 79.98% μ μ μ¬λ κΈ°λ‘
- RAFT + RAG λͺ¨λΈ: νκ· 96.02% μ μ μ¬λ κΈ°λ‘
- μ΅μ μ μ¬λ: 92.39%
- μ΅λ μ μ¬λ: 98.56%
μ½ 16% μ μ±λ₯ ν₯μμ΄ νμΈλμμΌλ©°, μ΄λ RAFT + RAG λͺ¨λΈμ΄ 볡μ‘ν λ¬Έλ§₯κ³Ό μ 보 κ²μμμ μ°μν μ²λ¦¬ λ₯λ ₯μ 보μ νκ³ μμμ λνλ λλ€.
μ¬μ© λ°©λ²
μ¬μ© λ°©λ²κ³Ό μν€ν μ²λ Gemma-2-2b-it λͺ¨λΈκ³Ό λμΌν©λλ€. λͺ¨λΈμ νκ΅μ΄ μλ£ μ§μμ λν΄ μ λ¬Έμ μΈ λ΅λ³μ μ 곡ν©λλ€.
λͺ¨λΈ λ° μμν λ²μ
μλλ λ³Έ λͺ¨λΈκ³Ό μμνν λ²μ , κ·Έλ¦¬κ³ DSF(Domain-Specific Fine-tuning) λͺ¨λΈμ λ§ν¬μ λλ€:
- RAFT λͺ¨λΈ
- DSF λͺ¨λΈ
μ ν μ¬ν λ° μ£Όμμ¬ν
- μλ£ μ‘°μΈ: μ΄ λͺ¨λΈμ μλ£ μ 보λ₯Ό μ 곡νμ§λ§, μ λ¬Έμ μΈ μλ£ μλ΄μ΄λ μ§λ¨μ λ체νμ§ μμ΅λλ€. κ±΄κ° κ΄λ ¨ μμ¬ κ²°μ μ λ°λμ μλ£ μ λ¬Έκ°μ μμνμκΈ° λ°λλλ€.
- λ°μ΄ν° νκ³: λͺ¨λΈμ νμ΅λ λ°μ΄ν° λ²μ λ΄μμ λ΅λ³μ μ 곡ν©λλ€. μ΅μ μλ£ μ§μΉ¨μ΄λ κ°μΈλ³ μν©μ λν κ³ λ €λ λΆμ‘±ν μ μμ΅λλ€.
- μ± μ νκ³: μ΄ λͺ¨λΈμ μ¬μ©μΌλ‘ λ°μνλ κ²°κ³Όμ λν΄ κ°λ°μλ μ± μμ μ§μ§ μμ΅λλ€.
μΈμ©
μ΄ λͺ¨λΈμ μ¬μ©νκ±°λ μ°κ΅¬μ μ°Έκ³ νμ€ κ²½μ° λ€μ λ¬Ένμ μΈμ©ν΄μ£ΌμκΈ° λ°λλλ€:
- μ΄κ±°λ AI ν¬μ€μΌμ΄ μ§μμλ΅ λ°μ΄ν°: AI νλΈ, μ΄κ±°λ AI ν¬μ€μΌμ΄ μ§μμλ΅ λ°μ΄ν°
- Gemma 2 λͺ¨λΈ: "Gemma 2: Improving Open Language Models at a Practical Size", 2023.
- RAFT λ°©λ²λ‘ : "Adapting Language Model to Domain Specific RAG", arXiv preprint arXiv:2403.10131, 2023.
- RAGAS νκ° λ°©λ²λ‘ : "RAGAS: Automated Evaluation of Retrieval Augmented Generation", 2023.
λΌμ΄μ μ€
μ΄ λͺ¨λΈμ ν΄λΉ λ°μ΄ν°μ κ³Ό μμ² λͺ¨λΈμ λΌμ΄μ μ€ μ‘°κ±΄μ λ°λΌ μ¬μ©ν΄μΌ ν©λλ€. μ¬μ© μ μ λ°λμ λΌμ΄μ μ€ λ΄μ©μ νμΈνμκΈ° λ°λλλ€.
- Downloads last month
- 77