문서 이해 작업과 자연어 처리 작업 간의 상호작용에 대해 더 깊이 있게 탐구해볼 필요가 있다.
기존 문서 이해 모델과 제안 방식의 성능 차이가 발생하는 원인을 분석해볼 필요가 있다.
제안 방식의 언어 모델 부분을 다른 대규모 언어 모델로 대체했을 때의 성능 변화를 확인해볼 필요가 있다.
이 연구에서는 문서 이해 작업과 자연어 처리 작업 간의 상호작용을 깊이 있게 탐구하고 있습니다. 제안된 LayoutLLM 방법론은 문서 이미지를 이해하기 위해 시각적 및 텍스트 컨텍스트를 캡처하는 VrDU 인코더와 작업 지시를 수신하고 처리하는 LLM 디코더를 결합합니다. 이를 통해 문서 이미지를 효율적으로 이해할 수 있게 되며, 이는 언어 모델의 순수한 NLP 작업 처리 능력을 활용하여 VrDU 작업 뿐만 아니라 다양한 NLP 작업에도 적용할 수 있음을 시사합니다. 이러한 상호작용은 다양한 작업을 효율적으로 수행하고 다양한 도메인에서의 성능을 향상시킬 수 있는 중요한 요소로 작용합니다.