이전 대화 이력 질문
#3
by
brildev7
- opened
This comment has been hidden
brildev7
changed discussion status to
closed
안녕하세요 질문주신 multi-turn 관련된 문제는 해결 되셨나요?
말씀해주신 내용을 저희쪽에서 돌려보니 8B에서는 잘 작동할때도 있고, 이전컨텍스트를 잃어버려 다시 질문해달라고 이야기할때도 있네요. 확률은 반반 같습니다!
같은 내용을 70.8B 모델에서는 매우 잘 작동하고 있어요.
이를 토대로 multi-turn 기능이 약해졌다기 보다, long context에 대한 장기 multi-turn 기억이 llama3 기본 모델 크기에 따라 다른것 같습니다.