채팅봇 기술의 한계와 위험 중 하나는 "hallucination" 현상입니다. 이는 채팅봇이 주어진 정보 범위를 벗어나거나 부정확한 정보를 생성하는 경우를 가리킵니다. 이러한 현상은 채팅봇의 신뢰성을 훼손시킬 수 있으며, 특히 교육 분야에서는 정확한 정보 전달이 중요합니다. 이를 해결하기 위해 채팅봇은 정확한 정보만을 제공하도록 프롬프트를 엄격하게 설계하고, 부정확한 정보가 생성되는 경우 이를 수정하거나 사용자에게 정확한 정보를 확인하도록 안내해야 합니다. 또한, 채팅봇은 사용자의 프로보케이션에 대응할 수 있는 강력한 윤리적 가이드라인을 갖춰야 합니다. 민감한 정보나 부적절한 질문에 대해 적절하게 대응하고, 항상 전문적이고 친절한 태도를 유지해야 합니다.