Vectơ từ
Sự phát triển và lịch sử của phương pháp

Trong ngữ nghĩa phân bố (distributional semantics), một phương pháp tiếp cận định lượng để hiểu nghĩa trong ngôn ngữ quan sát, các vectơ từ hoặc mô hình không gian đặc trưng ngữ nghĩa (semantic feature space model) đã được sử dụng như một "biểu diễn tri thức" (knowledge representation) từ khá lâu. Các mô hình này nhằm định lượng và phân loại các sự tương đồng về ngữ nghĩa giữa các đơn vị ngôn ngữ dựa trên tính chất phân bố của chúng trong các mẫu dữ liệu ngôn ngữ lớn. Ý tưởng cơ bản là "một từ được xác định qua những từ ngữ mà nó đi kèm", và đã được đề xuất trong một bài viết năm 1957 bởi John Rupert Firth, nhưng ý tưởng này cũng có nguồn gốc từ các nghiên cứu đương thời về hệ thống tìm kiếm và trong tâm lý học nhận thức.
Khái niệm về không gian ngữ nghĩa với các mục từ (từ hoặc các cụm từ có nhiều từ) được biểu diễn dưới dạng các vectơ hoặc vectơ từ dựa trên những thách thức trong việc tính toán các đặc tính phân bố và sử dụng chúng cho các ứng dụng thực tế để đo lường sự tương đồng giữa các từ, cụm từ, hoặc toàn bộ văn bản. Thế hệ đầu tiên của các mô hình không gian ngữ nghĩa là mô hình không gian vectơ dành cho truy xuất thông tin. Các mô hình không gian vectơ này dành cho từ và dữ liệu phân bố của chúng, khi được triển khai dưới dạng đơn giản nhất, tạo ra một không gian vectơ rất thưa thớt với độ chiều lớn (còn được gọi là lời nguyền của chiều không gian - curse of dimensionality). Việc giảm số lượng chiều bằng cách sử dụng các phương pháp đại số tuyến tính như phân rã giá trị suy biến (singular value decomposition - SVD) đã dẫn đến sự ra đời của phân tích ngữ nghĩa tiềm ẩn vào cuối những năm 1980 và phương pháp chỉ số ngẫu nhiên (random indexing) để thu thập các ngữ cảnh đồng xuất hiện của từ. Năm 2000, Yoshua Bengio và cộng sự đã cung cấp một loạt các bài báo có tựa đề "Các mô hình ngôn ngữ xác suất thần kinh" nhằm giảm số chiều lớn của các biểu diễn từ trong các ngữ cảnh bằng cách "học một biểu diễn phân tán cho các từ".
Một nghiên cứu được xuất bản tại NeurIPS (NIPS) 2002 đã giới thiệu việc sử dụng cả vectơ từ và vectơ tài liệu bằng cách áp dụng phương pháp kernel CCA cho các kho ngữ liệu song ngữ (và đa ngữ), đồng thời cung cấp một ví dụ sớm về học tự giám sát (self-supervised learning) của các vectơ từ.
Vectơ từ có hai kiểu khác nhau. Một kiểu, trong đó các từ được biểu diễn dưới dạng các vectơ của các từ cùng xuất hiện. Kiểu khác, trong đó các từ được biểu diễn dưới dạng các vectơ ngữ cảnh ngôn ngữ mà các từ xuất hiện; các kiểu này được nghiên cứu bởi Lavelli và cộng sự năm 2004. Roweis và Saul đã công bố trên Science về cách sử dụng "nhúng tuyến tính cục bộ" (locally-linear embedding - LLE) để khám phá các biểu diễn của các cấu trúc dữ liệu có độ chiều lớn. Hầu hết các kỹ thuật vectơ từ mới sau khoảng năm 2005 đều dựa vào kiến trúc mạng nơ-ron thay vì các mô hình xác suất và đại số, sau các công trình nền tảng của Yoshua Bengio và các đồng nghiệp.
Cách tiếp cận này đã được nhiều nhóm nghiên cứu áp dụng sau các tiến bộ lý thuyết vào năm 2010 về chất lượng của các vectơ và tốc độ huấn luyện mô hình, cũng như sau khi các tiến bộ về phần cứng cho phép khám phá một không gian tham số rộng hơn một cách có lợi. Vào năm 2013, một nhóm tại Google do Tomas Mikolov dẫn dắt đã tạo ra word2vec, một bộ công cụ vectơ từ có thể huấn luyện các mô hình không gian vectơ nhanh hơn các phương pháp trước đó. Phương pháp word2vec đã được sử dụng rộng rãi trong thử nghiệm và đóng vai trò quan trọng trong việc nâng cao sự quan tâm đến vectơ từ như một công nghệ, đưa hướng nghiên cứu này từ lĩnh vực chuyên biệt sang thử nghiệm rộng rãi hơn và cuối cùng mở đường cho các ứng dụng thực tiễn.