Lý thuyết Ứng đáp Câu hỏi

Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) là một lý thuyết của khoa học về đo lường trong giáo dục, ra đời từ nửa sau của thế kỷ 20 và phát triển mạnh mẽ cho đến nay. Trước đó, Lý thuyết Trắc nghiệm cổ điển (Clasical Test Theory – CTT), ra đời từ khoảng cuối thế kỷ 19 và hoàn thiện vào khoảng thập niên 1970, đã có nhiều đóng góp quan trọng cho hoạt động đánh giá trong giáo dục, nhưng cũng thể hiện một số hạn chế. Các nhà tâm trắc học (psychometricians) cố gắng xây dựng một lý thuyết hiện đại sao cho khắc phục được các hạn chế đó. Lý thuyết trắc nghiệm hiện đại được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán, nhưng nhờ sự tiến bộ vượt bậc của công nghệ tính toán bằng máy tính điện tử vào cuối thế kỷ 20 – đầu thế kỷ 21 nên nó đã phát triển nhanh chóng và đạt được những thành tựu quan trọng.
Để đánh giá đối tượng nào đó CTT tiếp cận ở cấp độ một đề kiểm tra, còn lý thuyết trắc nghiệm hiện đại tiếp cận ở cấp độ từng câu hỏi, do đó lý thuyết này thường được gọi là Lý thuyết Ứng đáp Câu hỏi. Trong số các nhà nghiên cứu có nhiều đóng góp ban đầu cho IRT có thể kể các tên Lord, F.M.; Rasch, G, Wright, B.D.v.v..

Về mô hình Rasch và vai trò của nó

Chúng ta đã chọn mô hình một tham số, mô hình Rasch, làm mô hình trình bày đầu tiên trong các mô hình đường cong ĐTCH vì mô hình này đơn giản nhất và phản ánh tường minh nhất mối quan hệ giữa TS và CH. Tuy nhiên, như đã nói trên đây, trong tiến trình lịch sử hình thành IRT, không phải mô hình Rasch xuất hiện trước các mô hình khác. Nhà toán học và tâm lý học người Đan Mạch, George Rasch, đã có ý tưởng xây dựng "một mô hình cấu trúc cho các CH trong một đề trắc nghiệm" từ thập niên 1950, đề xuất mô hình xác suất logistic đó từ 1953, nhưng ở Mỹ, người ta biết đến công trình của ông từ khi ông công bố chính thức trong một cuốn sách xuất bản năm 1960 . Động cơ của Rasch muốn thể hiện qua mô hình của mình là hạn chế việc dựa vào tổng thể TS khi phân tích các đề trắc nghiệm (ĐTN). Theo ông, phân tích trắc nghiệm chỉ đáng giá khi dựa vào từng cá nhân TS, với các thuộc tính của TS và CH được tách riêng. Để biện minh cho quan điểm của mình, ông thường dẫn lời nhà tâm lý học Skinner, người rất ghét việc căn cứ vào thống kê dựa trên tổng thể để kết luận và thường triển khai nghiên cứu thực nghiệm trên từng cá thể. Quan điểm của Rasch đã đánh dấu sự chuyển tiếp từ CTT, dựa trên tổng thể với việc nhấn mạnh đến biện pháp tiêu chuẩn hoá và ngẫu nhiên hoá, sang IRT với mô hình xác suất tương tác giữa một TS và một CH. Sự tồn tại của các số liệu thống kê đầy đủ của các tham số của CH trong mô hình Rasch có thể được sử dụng vào việc điều chỉnh ước lượng các tham số năng lực theo một cách thức đặc biệt.
Cùng trong khoảng thời gian công bố công trình của mình, Rasch được mời sang cộng tác nghiên cứu 3 tháng tại Viện Đại học Chicago. Tại đây, B. Wright đã có rất nhiều đóng góp để nâng cao và phát triển mô hình Rasch. Theo Wright, ý tưởng của Rasch về việc chọn mô hình logistic với chỉ một tham số là độ khó đã giải phóng được bế tắc của việc phát triển IRT trong nhiều thập niên, vì nhiều nhà tâm trắc học từ các nghiên cứu của mình đã khẳng định rằng chỉ có độ khó là có thể ước lượng được một cách ổn định và đầy đủ qua số liệu quan sát đối với loại CH trắc nghiệm nhị phân. Do đó, hiện nay, tuy là mô hình ĐTCH đơn giản nhất trong các mô hình IRT, và có lẽ cũng chính vì tính đơn giản nhưng đầy đủ của nó, mô hình Rasch đã được sử dụng nhiều nhất trong các nghiên cứu tâm lý và giáo dục. Cũng theo Wright, mô hình Rasch là mô hình duy nhất thoả mãn các yêu cầu để xây dựng các phép đo lường khách quan trong khoa học xã hội nói chung, và Wright có ý kiến khá cực đoan rằng không nên sử dụng các mô hình khác trong các phép đo lường khách quan.
Một trong những ưu điểm lớn của mô hình Rasch là tách biệt được năng lực của TS và đặc trưng của CH (độ khó) trong phép đo lường. Thật vậy, nếu có hai TS có năng lực θ1 và θ2 cùng ứng đáp một CH thì từ biểu thức (3) có thể thu được ln (O₁/O₂) = (θ₁ – θ₂), tức là có thể xác định các năng lực của TS không phụ thuộc độ khó CH. Vì tính đối xứng của biểu thức, cũng dễ thấy rằng, ngược lại, có thể xác định các độ khó của CH không phụ thuộc năng lực TS. Chính vì tính chất cơ bản này nên có thể đặt năng lực của các TS và độ khó của các CH trên cùng một thang đo để so sánh chúng với nhau.
Tuy nhiên, một số nhà nghiên cứu khác cho rằng về lý thuyết thì dạng toán học của mô hình Rasch có nhiều lợi thế, nhưng khi nói đến mô hình toán học, tức là nói đến một sự giả định, tiêu chuẩn để đánh giá hiệu quả của mô hình là sự phù hợp của chúng với số liệu thực nghiệm chứ không chỉ thuần túy ở dạng toán học. Người ta thường gọi quan điểm của Wright là quan điểm "dựa trên mô hình" (model–based), còn quan điểm ngược lại là quan điểm "dựa trên dữ liệu" (data–based).

Về việc ước lượng năng lực thí sinh và tham số câu hỏi

Như đã biết, các mô hình IRT xét mối tương tác của một TS có năng lực θ với một CH có các tham số a, b, c. Tuy nhiên, trong hoạt động đánh giá thực tế, cái mà chúng ta có thể thu được trực tiếp từ số liệu kiểm tra là việc trả lời các CH của các TS qua bài trắc nghiệm. Từ các số liệu thu được trực tiếp đó làm sao xác định các tham số a, b, c' của các CH và năng lực θ của các TS? Đó là bài toán cơ bản và quan trọng nhất của IRT, vì năng lực của TS là cái cuối cùng mà ta muốn biết, còn các tham số của CH là cần thiết để chúng ta có thể sử dụng các CH nhằm thiết kế các công cụ thích hợp để đo lường chính xác năng lực của TS. Bài toán quan trọng đó được giải quyết bằng các thuật toán ước lượng năng lực TS và tham số CH, việc tìm ra các thuật toán tốt nhất để giải bài toán này là một trong các mục tiêu quan trọng của IRT, và có thể nói quyết định thành công của việc áp dụng IRT vào thực tế hoạt động đánh giá. Tuy nhiên, muốn trình bày đầy đủ thuật toán đã nêu cần nhiều kiến thức về toán học và thống kê học. Bạn đọc muốn đi sâu vào những vấn đề đó có thể tìm hiểu sơ bộ ở , và đầy đủ hơn trong . Ở đây chỉ xin giới thiệu khái quát bản chất của các thuật toán ước lượng nói trên, và để dễ hiểu, phải hy sinh một phần tính chính xác khi trình bày.
Giả sử chúng ta cần dùng một ĐTN gồm 100 CH để xác định năng lực tiếng Anh của 200 TS. Khi cho 200 TS làm ĐTN, chúng ta sẽ thu được các bài làm chứa ứng đáp của mọi TS đối với mọi CH, kết quả đó được gọi là số liệu thực nghiệm. Giả sử là các ứng đáp của TS tuân theo quy luật được xác định bởi mô hình Rasch, biểu hiện ở công thức (5). Các giá trị năng lực θν của mỗi TS và độ khó bᵢ của mỗi CH trong (5) là cái mà chúng ta muốn ước lượng. Đầu tiên chúng ta chưa biết chúng, nhưng bằng đoán nhận, hãy gán cho chúng các giá trị nào đó gọi là giá trị tiên nghiệm (a priori), và tính 100x200=20.000 giá trị xác suất P theo công thức (5); tập hợp các xác suất đó được gọi là số liệu lý thuyết. Bằng các cách thức trong giải tích phiếm hàm, người ta tìm một con số đại diện cho số liệu thực nghiệm và một con số tương ứng đại diện cho số liệu lý thuyết để so sánh các con số này với nhau. Với các giá trị được gán đầu tiên cho số liệu lý thuyết, độ chênh giữa (con số đại diện cho) số liệu lý thuyết và (con số đại diện cho) số liệu thực nghiệm thường rất lớn. Thuật toán sẽ chỉ ra phương hướng điều chỉnh các giá trị θν và bᵢ trong (5) sao cho sau lần tính lặp độ chênh giữa số liệu lý thuyết và số liệu thực nghiệm bé hơn. Nếu độ chênh còn lớn, người ta lại điều chỉnh các giá trị θν và bᵢ trong (5) và tính lặp lần thứ hai. Có thể quy ước xem số liệu lý thuyết là trùng hợp với số liệu thực nghiệm khi độ chênh giữa chúng bé hơn một giới hạn nào đó, chẳng hạn bé hơn một phần nghìn giá trị của chúng. Khi độ chênh chưa bé hơn giới hạn đó, người ta tiếp tục quá trình tính lặp. Việc tính lặp có thể thực hiện lần thứ ba, thứ tư,... cho đến lần thứ hàng trăm, hàng nghìn sao cho đạt được giới hạn quy định. Khi đạt được giới hạn quy định về độ chênh, chương trình sẽ ra lệnh dừng tính, và các giá trị θν và bᵢ thu được ở lần tính lặp cuối cùng chính là giá trị lý thuyết trùng hợp với giá trị thực nghiệm theo mô hình Rasch.
Với các mô hình IRT 2 và 3 tham số, quá trình ước lượng cũng được thực hiện theo nguyên tắc tương tự như đã mô tả trên đây, tuy số tham số tính toán nhiều hơn. Một trong các thuật toán thường được sử dụng cho quy trình ước lượng nói trên là thuật toán biến cố hợp lý cực đại và nhiều thuật toán khác được trình bày trong .
Vì việc thực hiện bài toán ước lượng giá trị năng lực của TS và các tham số của CH khá phức tạp nên đa số bạn đọc thông thường không cần phải bận tâm nhiều đến các thuật toán cụ thể, bởi vì ngày nay đã có nhiều phần mềm chuyên dụng được các chuyên gia tâm trắc học xây dựng phục vụ các bài toán ước lượng đó. Chẳng hạn sau đây là một số phần mềm được sử dụng tương đối phổ biến hiện nay: CONQUEST của Úc và WINSTEPS của Mỹ cho mô hình Rasch (một tham số) nhị phân và đa phân, BILOG–MG3 của Mỹ cho mô hình 1, 2, 3 tham số nhị phân, PARSCALS, MULTILOG cho mô hình đa phân,... Ở Việt Nam phần mềm đầu tiên phục vụ cho bài toán này là VITESTA, cho các mô hình 1, 2, 3 tham số nhị phân và đa phân, được công ty EDTECH–VN xây dựng từ năm 2007 .
Tính bất biến của năng lực thí sinh và tham số câu hỏi
Một trong các nhược điểm của CTT là có sự phụ thuộc của tham số CH vào mẫu TS được sử dụng để xác định chúng, cũng như sự phụ thuộc của năng lực đo được của TS vào các CH, tức là vào ĐTN cụ thể được sử dụng để đo lường năng lực ấy. Một minh họa rõ ràng nhất là nếu đưa cùng một CH trắc nghiệm cho hai nhóm TS làm, một nhóm có nhiều TS giỏi hơn nhóm kia, thì độ khó của CH xác định theo Lý thuyết trắc nghiệm cổ điển (tỷ số TS làm đúng trên tổng số TS tham gia) tất yếu sẽ khác nhau, tức là giá trị độ khó phụ thuộc vào mẫu TS được dựa vào để xác định độ khó. Nhược điểm này của Lý thuyết Trắc nghiệm cổ điển gây khó khăn cho việc thiết kế các ĐTN theo ý muốn, đặc biệt là thiết kế các ĐTN tương đương. Với IRT, có thể chứng minh từ lý thuyết và kiểm chứng qua thực nghiệm rằng nhược điểm đó được khắc phục, có nghĩa là không có sự phụ thuộc của tham số CH vào mẫu TS được dùng để xác định chúng (sample–free) cũng như không có sự phụ thuộc của năng lực xác định được của TS vào ĐTN cụ thể được dùng để đo năng lực ấy (item–free). Tổng quát hơn, người ta có thể nói rằng các tham số của CH và giá trị năng lực của TS là các bất biến (invariant).
Cần hiểu rõ tính bất biến ở đây là bất biến đối với các phép đo để xác định các tham số đó. Có thể nêu một ví dụ đơn giản để minh họa: dùng một thước đo dài 1 mét (1 mét là thuộc tính của thước đo) để đo một cái bàn dài 6 mét (6 mét là thuộc tính của cái bàn). Thuộc tính của thước đo và thuộc tính của cái bàn là các bất biến của chúng, không được thay đổi khi thực hiện phép đo, tức là khi áp cái thước vào để đo cái bàn.
Hiển nhiên là năng lực của TS sẽ thay đổi qua một quá trình học tập; hiện tượng đó không liên quan đến tính bất biến được khẳng định trên đây.
Cũng cần lưu ý rằng tính bất biến nói trên chỉ được tuân thủ khi có sự phù hợp giữa số liệu thực nghiệm và mô hình; muốn vậy, các điều kiện được đề ra khi xây dựng mô hình cũng phải được thoả mãn (chẳng hạn, tính đơn chiều của năng lực, tính độc lập địa phương của các CH). Khi sự phù hợp giữa số liệu thực nghiệm và mô hình bị vi phạm thì tính bất biến đó cũng không còn. Hơn nữa, tính bất biến là đặc điểm của mô hình trên cả tổng thể được nghiên cứu (bởi vì nó có liên quan đến phép hồi quy thống kê trên toàn bộ tổng thể chứ không phải trên từng mẫu thử (có thể tìm hiểu ở ), do đó trên các mẫu thử khác nhau, tính bất biến có thể bị vi phạm ở các mức độ khác nhau.

So bằng và kết nối các đề trắc nghiệm

Theo IRT, về nguyên tắc, các tham số CH xác định được không phụ thuộc vào mẫu TS, và năng lực TS đo được không phụ thuộc vào ĐTN cụ thể. Tuy nhiên đó là các tính chất lý tưởng, chỉ tuyệt đối đúng trong cả tổng thể khảo sát khi số liệu thực tế hoàn toàn phù hợp với mô hình giả định, và các giả thiết khác về mô hình được tuân thủ. Khi các điều kiện đã nói phần nào bị vi phạm thì sẽ không có sự bất biến tuyệt đối của năng lực TS và tham số CH nữa, do đó người ta phải có thao tác đưa các giá trị tham số CH cũng như năng lực TS về một thang đo chung để có thể so sánh chúng với nhau. Thao tác đưa tham số của các CH cũng như năng lực TS về thang đo chung gọi là so bằng (equating).
So bằng là yêu cầu rất quan trọng trong thực tiễn đánh giá. Chẳng hạn, có hai mẫu TS khác nhau được đánh giá bằng hai ĐTN khác nhau, năng lực của mỗi mẫu TS được một ĐTN đo lường và thu được một bộ điểm. Muốn hai bộ điểm của hai mẫu TS thu được từ hai ĐTN có thể so sánh được với nhau, người ta phải chuyển chúng về một thang đo chung, tức là so bằng. Sau khi so bằng, năng lực của mọi TS của hai mẫu được đặt trên cùng một thang đo nên có thể so sánh được với nhau, và từ các giá trị năng lực đó có thể chuyển thành điểm trên một thang điểm chung mong muốn nào đó.
Cũng vậy, nếu hai ĐTN được triển khai trên hai nhóm TS khác nhau để định cỡ (calibration) các CH trắc nghiệm, tức xác định các tham số của chúng, từ mỗi ĐTN sẽ thu được một bộ tham số của các CH. Muốn tham số của các CH của ĐTN thu được từ hai mẫu TS có thể so sánh được với nhau người ta cũng phải dùng thủ thuật so bằng nhằm chuyển các tham số của CH về một thang đo chung. Sau khi so bằng, mỗi giá trị tham số của CH từ hai ĐTN được đặt trên cùng một thang đo nên có thể so sánh với nhau, chẳng hạn để lựa chọn CH có tham số thích hợp nhằm thiết kế một ĐTN theo yêu cầu xác định.
Có nhiều thủ tục so bằng khác nhau. Bạn đọc muốn tìm hiểu có thể tham khảo trong , hoặc tỉ mỉ hơn trong