어떻게 LLM을 사용하여 세밀한 범주 이름을 추론하는 데 성공했나요?
FineR 시스템은 Large Language Models (LLMs)의 세계 지식을 활용하여 세밀한 범주 이름을 추론하는 데 성공했습니다. 이를 위해 먼저 시각적 속성과 그에 대한 설명을 비전 답변 모델을 사용하여 텍스트로 번역합니다. 그런 다음 이러한 속성과 설명을 사용하여 LLM을 이용하여 데이터셋에서 후보 클래스 이름을 추론하도록 유도합니다. LLM을 통해 후보 클래스 이름을 발견하고 노이즈를 제거하는 과정을 거친 후, 다중 모달 분류기를 구축하여 테스트 이미지를 분류합니다. 이러한 과정을 통해 FineR은 전문가 주석 없이도 세밀한 범주를 식별하는 데 성공했습니다.