언어 자원

언어 자원(language resource)은 언어학 및 언어 기술에서 "언어 처리 응용 프로그램의 구성, 개선 및 평가, (...) 언어 및 언어 매개 연구 및 응용에 사용되는 언어 자료의 [구성]"이다.LD4LT (2020), The Metashare Ontology as Created by the LD4LT Community Group , W3C Community Group Linked Data for Language Technology (LD4LT), Development branch, version of Mar 10, 2020

버드와 시몬스(2003)에 따르면 여기에는 다음이 포함된다.
 데이터, 즉 "출판된 논문, 컴퓨터 데이터 파일, 심지어 손으로 쓴 색인 카드로 가득 찬 신발 상자와 같이 언어를 문서화하거나 설명하는 모든 정보이다. 정보의 내용은 분석되지 않은 녹음물부터 완전히 기록되고 주석이 달린 것까지 다양할 수 있다. 완전한 설명 문법에 대한 텍스트",
 도구, 즉 "언어 데이터의 생성, 보기, 쿼리 또는 기타 사용을 용이하게 하는 계산 리소스"
 조언, 즉 "어떤 데이터 소스가 신뢰할 수 있는지, 어떤 도구가 주어진 상황에 적합한지, 새로운 데이터를 생성할 때 따라야 할 관행에 대한 정보"이다. 후자의 측면은 일반적으로 "모범 사례" 또는 "(커뮤니티) 표준"이라고 한다.

더 좁은 의미에서, 언어 자원은 특히 디지털 형식으로 이용 가능한 자원에 적용되며, "(a) 데이터 세트(텍스트, 다중 모드/멀티미디어 및 어휘 데이터, 문법, 언어 모델 등)를 기계가 읽을 수 있는 형태로 포괄한다." (b) 해당 양식의 처리 및 관리에 사용되는 도구/기술/서비스를 가리킨다".

 분류 
2020년 5월 기준, 널리 사용되는 언어 자원의 표준 분류 체계는 확립되지 않았다(현재 제안된 체계로는 LREMap,Calzolari, N., Del Gratta, R., Francopoulo, G., Mariani, J., Rubino, F., Russo, I., & Soria, C. (2012, May). The LRE Map. Harmonising Community Descriptions of Resources. In LREC (pp. 1084-1089). METASHARE, 그리고 데이터의 경우 LLOD 분류 등이 있다). 언어 자원의 주요 범주는 다음과 같다.

 데이터
 낱말 자원, 예: 기계 가독형 사전,
 언어 말뭉치, 즉 자연어 데이터의 디지털 수집물,
 Cross-Linguistic Linked Data 컬렉션과 같은 언어 데이터베이스,
 도구
 언어 주석 및 수동 또는 반자동 방식으로 이러한 주석을 생성하기 위한 도구(예: Toolbox 및 FLEx와 같은 행간 주석 텍스트 작성을 위한 도구, 또는 기타 언어 문서화 도구),
 이러한 데이터에 대한 검색 및 추출을 위한 애플리케이션(말뭉치 관리 시스템), 자동 주석 생성(품사 태깅, 통사적 구문 분석, 의미 분석 등)을 위한 도구,
 메타데이터 및 어휘집
 어휘집, 언어학 용어 및 언어 메타데이터 저장소, 예: MetaShare(언어 자원 메타데이터용), ISO 12620 데이터 범주 등록소(언어 자원 내의 언어적 특징, 데이터 구조 및 주석용),Kemps-Snijders, M., Windhouwer, M., Wittenburg, P., & Wright, S. E. (2008). ISOcat: Corralling data categories in the wild. In 6th International Conference on Language Resources and Evaluation (LREC 2008). 또는 글로톨로그 데이터베이스(언어 변이체 식별자 및 서지 데이터베이스).

 언어 자원의 출판, 보급 및 생성 
언어 자원 커뮤니티의 주요 관심사는 언어 자원을 제시하고 논의하며 보급하기 위한 인프라와 플랫폼을 개발하는 것이었다. 이와 관련된 주요 기여는 다음과 같다.
 일련의 언어 자원 및 평가 국제 컨퍼런스(LREC),
 언어 자원의 상업적 호스팅 및 보급 플랫폼을 대표하는 유럽 언어 자원 협회(ELRA, 유럽 연합 기반) 및 Linguistic Data Consortium(LDC, 미국 기반),
 언어 자원 메타데이터를 제공하고 수집하는 개방형 언어 아카이브 커뮤니티(OLAC),
 언어 자원 및 평가 저널(LREJ),
 언어 기술(예: 서비스), 데이터 및 자원을 위한 유럽 플랫폼인 유럽 언어 그리드(European Language Grid).

언어 자원에 대한 표준 및 모범 사례 개발은 다음과 같은 여러 커뮤니티 그룹과 표준화 노력의 대상이 되고 있다.
 ISO 기술 위원회 37: 용어 및 기타 언어 및 콘텐츠 자원(ISO TC/37), 언어 자원의 모든 측면에 대한 표준을 개발함,
 W3C 커뮤니티 그룹 다국어 링크드 오픈 데이터를 위한 모범 사례(BPMLOD), 언어 자원을 링크드 데이터 또는 RDF로 출판하기 위한 모범 사례 권고안을 작업함,
 W3C 커뮤니티 그룹 언어 기술을 위한 링크드 데이터(LD4LT), 웹상의 언어 주석 및 언어 자원 메타데이터를 작업함,
 W3C 커뮤니티 그룹 온톨로지-어휘집(OntoLex), 어휘 자원을 작업함,
 오픈 놀리지 재단의 오픈 언어학 워킹 그룹, 개방형 언어 자원의 출판 및 연결을 위한 관례를 작업하고 Linguistic Linked Open Data 클라우드를 개발함,
 텍스트 인코딩 이니셔티브(TEI), 언어 자원 및 디지털 편집 텍스트를 위한 XML 기반 사양을 작업함.

 각주 

분류:자연어 처리
분류:전산언어학