Xây dựng mô hình miền kiến thức thích nghi đánh giá kết quả người học
- 1. LÝ DO CHỌN ĐỀ TÀI
Kiểm tra đánh giá là một khâu quan trọng trong quá trình đào tạo. Hiện nay, tồn tại nhiều phương pháp kiểm tra như: viết, vấn đáp, tự luận, sản phẩm, trình bày, trắc nghiệm, … Các phương pháp này đều có ưu, nhược điểm riêng và đã mang lại nhiều kết quả nhất định trong việc phân loại đánh giá kết quả người học. Tuy nhiên, nó còn tồn tại một số nhược điểm như: các thí sinh (TS) có trình độ khác nhau nhưng đều trả lời các câu hỏi giống nhau trong cùng một thời gian như nhau, gây áp lực căng thẳng cho TS có trình độ thấp phải trả lời những câu hỏi quá khó hoặc gây nhàm chán cho các TS có trình độ cao phải trả lời những câu hỏi dễ. Để khắc phục các nhược điểm trên hiện nay trên thế giới đã và đang áp dụng phương pháp trắc nghiệm thich nghi phổ biến ở các cấp bậc học.
Trắc nghiệm thích nghi (TNTN) là phương pháp kiểm tra đánh giá dựa trên năng lực của TS. Hiện nay, một số tác giả đã áp dụng lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) vào giải quyết các bài toán về TNTN. Tuy nhiên việc áp dụng IRT trong các mô hình TNTN chỉ cho phép lựa chọn câu hỏi (trong toàn bộ các vùng kiến thức) phù hợp với năng lực hiện tại của TS mà chưa đề cập đến việc lựa chọn vùng kiến thức đưa ra phù hợp với mức độ kiến thức hiện tại của TS.
Do đó đề tài: “Xây dựng mô hình miền kiến thức thích nghi đánh giá kết quả người học” được đề xuất để nghiên cứu xây dựng mô hình TNTN nhằm giải quyết hạn chế nêu trên.
- 2. MỤC TIÊU VÀ NHIỆM VỤ NGHIÊN CỨU
- Về lý thuyết
Xây dựng mô hình miền kiến thức (Knowledge Domain Model – KDM) áp dụng trong TNTN phục vụ quá trình đánh giá kiến thức TS.
- Về thực tiễn
Xây dựng hệ thống trắc nghiệm trên cơ sở mô hình KDM nhằm nâng cao hiệu quả trong việc đánh giá và phân loại trình độ TS.
- Phân tích các mô hình và thuật toán trắc nghiệm thích nghi hiện tại;
- Nghiên cứu xây dựng KDM;
- Xây dựng thuật toán TNTN trên cơ sở KDM sử dụng lý thuyết đồ thị;
- So sánh và đánh giá tính hiệu quả của mô hình đề xuất.
- 4. PHƯƠNG PHÁP NGHIÊN CỨU
- Phương pháp nghiên cứu lý thuyết
- Lý thuyết đồ thị và ma trận trọng số để xây dựng mô hình KDM;
- Xây dựng phương pháp lựa chọn đỉnh kiến thức và câu hỏi phù hợp với kiến thức năng lực TS trên cơ sở lý thuyết đồ thị và lý thuyết đáp ứng câu hỏi.
- Phương pháp nghiên cứu thực nghiệm
Xây dựng hệ thống trắc nghiệm đánh giá kiến thức TS dựa trên mô hình và thuật toán đề xuất. Triển khai hệ thống trong thực tế, so sánh và đánh giá kết quả đạt được.
5. Ý NGHĨA KHOA HỌC VÀ THỰC TIỄN CỦA ĐỀ TÀI
- Ý nghĩa khoa học:
Luận văn có ý nghĩa quan trọng, góp phần vào việc phát triển mô hình TNTN, đề xuất mô hình TNTN đánh giá năng lực, kiến thức TS dựa trên KDM.
- Ý nghĩa thực tiễn:
Xây dựng hệ thống trắc nghiệm thích nghi trên cơ sở mô hình đề xuất nhằm nâng cao việc đánh giá và phân loại trình độ TS.
- 6. BỐ CỤC LUẬN VĂN
Luận văn bao gồm 4 chương sau đây :
Chương 1. Tổng quan cơ sở lý thuyết
Chương 2. Xây dựng mô hình miền kiến thức, thuật toán TNTN
Chương 3. Xây dựng hệ thống TNTN
Chương 4. Triển khai và đánh giá hệ thống
CHƯƠNG 1
TỔNG QUAN CƠ SỞ LÝ THUYẾT
MÔ HÌNH TRẮC NGHIỆM THÍCH NGHI
Trắc nghiệm thích nghi (TNTN), tiếng Anh gọi là “Adaptive Testing”, là phương pháp đánh giá phổ biến đang được sử dụng để đánh giá TS theo hướng thích nghi với mức độ kiến thức và năng lực của người tham gia trắc nghiệm.
CÁC MÔ HÌNH VÀ THUẬT TOÁN TRẮC NGHIỆM THÍCH NGHI
- Trắc nghiệm khách quan trên cơ sở lý thuyết trắc nghiệm cổ điển
Lý thuyết Trắc nghiệm cổ điển (Classical Test Theory – CTT) là một trong những lý thuyết quan trọng liên quan đến khoa học đo lường đánh giá được xây dựng dựa trên khoa học xác suất và thống kê. Lý thuyết này được ứng dụng trong việc phân tích câu hỏi trắc nghiệm nhằm làm tăng chất lượng của câu hỏi theo yêu cầu.
Mặc dù CTT có những đóng góp đáng kể vào nền khoa học đo lường giáo dục nhưng nó còn tồn tại một số hạn chế lớn nên việc áp dụng CTT vào quá trình đánh giá năng lực TS thì kết quả thu được sẽ có độ chính xác không cao và thiếu tính khách quan. Hiện nay, các hệ thống trắc nghiệm thích nghi trên máy tính được xây dựng dựa trên các mô hình và thuật toán trắc nghiệm thích nghi khác nhau. Một trong những mô hình được sử dụng phổ biến nhất hiện nay là mô hình trắc nghiệm thích nghi trên cơ sở lý thuyết đáp ứng câu hỏi (Item Response Theory – IRT) và mô hình TNTN dựa trên mô hình Markov.
- Mô hình trắc nghiệm thích nghi sử dụng lý thuyết đáp ứng câu hỏi
Lý thuyết ứng đáp câu hỏi (Item Response Theory – IRT) là lý thuyết trắc nghiệm được xây dựng dựa trên mô hình toán học, đòi hỏi nhiều tính toán. Trắc nghiệm thích nghi dựa trên lý thuyết đáp ứng câu hỏi cho phép lựa chọn ra câu hỏi tiếp theo phù hợp với mức độ năng lực hiện tại của TS.
Tuy nhiên, việc lựa chọn câu hỏi tiếp theo là độc lập với câu hỏi đã trả lời, chưa có được mối liên kết giữa nội dung các câu hỏi được lựa chọn. Các câu hỏi lựa chọn có liên kết về mặt giá trị tham số đặc trưng nhưng lại rời rạc về mặt nội dung. Chưa tính được xác suất trả lời đúng sai của TS đối với câu hỏi tiếp theo được lựa chọn.
- Mô hình trắc nghiệm thích nghi sử dụng chuỗi Markov
Đối với phương pháp này mô hình trắc nghiệm thích nghi sẽ sử dụng chuỗi Markov để đánh giá mối tương quan giữa các câu trả lời trong mô hình TNTN.
Giả sử rằng sau xt = a trạng thái, TS trả lời đúng câu hỏi trắc nghiệm, và sau xt = b trạng thái, TS trả lời sai câu hỏi trắc nghiệm. Xác suất xuất hiện câu trả lời đúng hoặc sai là một đại lượng ngẫu nhiên rời rạc, sử dụng mô hình Markov đơn giản thì quá trình chuyển từ trạng thái này sang trạng thái khác của câu trả lời TS được xác định bởi ma trận xác suất chuyển trạng thái:
(1.2)
Trong đó:
- là xác suất chuyển dịch có điều kiện nếu tại thời điểm t, kết quả câu trả lời của TS là j với điều kiện tại thời điểm t-1 kết quả câu trả lời của TS là i;
- x(t) và x(t-1) là câu trả lời của TS tại thời điểm t và t-1;
- i, j = {a, b} – kết quả câu trả lời (đúng hoặc sai).
Bảng 1.1. Bảng đánh giá các mô hình trắc nghiệm
| Mô hình trắc nghiệm | Đánh giá theo năng lực TS | Đánh giá theo mức độ kiến thức TS | Số lượng câu hỏi với mỗi TS là khác nhau |
| TNKQ | – | + | – |
| TNTN (IRT) | + | – | + |
| TNTN (IRT+Markov) | + | – | + |
Trong đó:
- Dấu +: Có hỗ trợ;
- Dấu –: Không hỗ trợ;
- Dấu -/+: Có hoặc không hỗ trợ tùy trường hợp.
Từ bảng phân tích và đánh giá ta thấy các mô hình TNTN đã đề cập chưa cho phép đánh giá thích nghi theo mức độ kiến thức TS, mà hầu hết chỉ đánh giá dựa trên mức độ năng lực TS và các tham số của câu hỏi trắc nghiệm.
TỔNG KẾT CHƯƠNG
Phân tích các mô hình trên, mỗi mô hình có những khuyết điểm cần được giải quyết như sau: Không cho phép lựa chọn vùng kiến thức phù hợp với mức độ kiến thức hiện tại của thí sinh hay nói một cách khác là chỉ cho phép tiến hành TNTN theo mức độ năng lực, chưa thể TNTN theo mức độ kiến thức của TS.
Do đó, tác giả đi đến đề xuất một mô hình TNTN dựa trên KDM và lý thuyết đáp ứng câu hỏi nhằm kế thừa các ưu điểm và khắc phục các hạn chế nêu trên. Chi tiết về mô hình đề xuất tác giả trình bày ở chương 2 của luận văn.
CHƯƠNG 2
XÂY DỰNG MÔ HÌNH MIỀN KIẾN THỨC VÀ THUẬT TOÁN TRẮC NGHIỆM THÍCH NGHI
XÂY DỰNG MÔ HÌNH MIỀN KIẾN THỨC
- Lý thuyết đồ thị
- Mô hình miền kiến thức
Kiểm tra, đánh giá là một khâu quan trọng trong quá trình đào tạo vì nó là một quá trình nhận định giá trị thành tích học tập của người học.
Mặt khác một môn học được chia làm nhiều thành phần kiến thức con khác nhau, và giữa các thành phần đó có mối liên hệ logic với nhau. Khi kiểm tra, đánh giá kết thúc một môn học thì TS thường không cần phải được đánh giá trên tất cả các vùng kiến thức của môn học, mà quá trình đánh giá sẽ được chuyển từ vùng kiến thức này sang vùng kiến thức khác theo một trật tự logic nhất định theo một chiều. Vì vậy ta có thể chuyển bài toán này về dạng bài toán đồ thị có hướng và sử dụng các tính chất của đồ thị có hướng.
Để việc đánh giá kiểm tra TS dễ dàng, chính xác và khoa học hơn ta cần phải mô tả cấu trúc nội dung kiến thức của một môn học về dạng KDM.
Trong phạm vi luận văn này, KDM là một công cụ biểu diễn quá trình phân vùng các kiến thức của một môn học để phục vụ công việc kiểm tra, đánh giá kết quả người học.
Như vậy KDM là 1 đồ thị có hướng biểu diễn cấu trúc các thành phần kiến thức trong đó mỗi đỉnh biểu diễn cho một thành phần kiến thức, có thể gọi là đỉnh kiến thức. Mỗi đỉnh kiến thức là một tập hợp các câu hỏi trắc nghiệm khác nhau nhưng cùng hướng về việc đánh giá thành phần kiến thức đó. Các cung nối giữa các đỉnh kiến thức biểu diễn mối quan hệ logic giữa các đỉnh kiến thức.
Ta xét ví dụ về chương trình khung chi tiết của môn học lập trình căn bản của nghề lập trình máy tính. Cấu trúc nội dung môn học được xây dựng như hình 2.1.
Hình 2.1. Mô hình miền kiến thức thích nghi
Trong đó Ai là đỉnh kiến thức (i = 1, …, n) đại diện cho các vùng kiến thức của môn học lập trình căn bản.
- A1: là một tập hợp câu hỏi TN về thuật toán và ngôn ngữ lập trình;
- A2: là một tập câu hỏi TN về các thành phần, kiểu dữ liệu cơ bản và các cấu trúc điều khiển;
- A3: là một tập câu hỏi TN về hàm và mảng;
- A4: là một tập câu hỏi TN về con trỏ;
- A5: là một tập câu hỏi TN về kiểu cấu trúc và file;
- A6: là một tập câu hỏi TN tổng hợp ở mức cơ bản;
- A7: là một tập câu hỏi TN tổng hợp ở mức khó.
Qua đó ta thấy KDM là một mô hình biểu diễn quá trình phân vùng các kiến thức của một môn học để phục vụ công việc kiểm tra, đánh giá TS cấu trúc của KDM sẽ cố định còn TS khi tham gia thi sẽ nhận được các đường đi kiến thức khác nhau tùy thuộc vào mức độ kiến thức của mỗi TS. Đây chính là KDM tác giả cần xây dựng.
Tuy nhiên, để xác định TS có thông hiểu được đỉnh kiến thức hay không cần sử dụng đại lượng mức độ kiến thức tại mỗi đỉnh kiến thức. Mỗi TS sẽ được đánh giá thông qua một vector mức độ kiến thức, số phần tử của vector mức độ kiến thức phụ thuộc vào số đỉnh của KDM, trong đó mỗi phần tử của vector đại diện cho mức độ kiến thức của TS hiện tại ở mỗi đỉnh kiến thức.
F:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\KHOA HOC MAY TINH\PHAM THI MINH TRANG
