Ứng dụng Logic mờ xây dựng mô hình trắc nghiệm thích nghi
- Lý do chọn đề tài
Phương pháp giảng dạy lấy thí sinh làm trung tâm đang là vấn đề cấp thiết nhằm nâng cao chất lượng đào tạo. Bên cạnh việc xây dựng giáo án điện tử, thư viện điện tử thì ứng dụng công nghệ thông tin trong quá trình đánh giá năng lực của thí sinh nhằm nâng cao hiệu quả của quá trình đánh giá.
Kiểm tra tự luận trên giấy là hình thức kiểm tra và đánh giá truyền thống sẽ tốn nhiều thời gian, công sức và đôi khi kết quả đánh giá không được chính xác, khách quan. Nhằm mục đích khắc phục những hạn chế trên thì hình thức thi trắc nghiệm trên máy tính đã được ứng dụng trong công tác kiểm tra, đánh giá kiến thức thí sinh. Một trong những mô hình trắc nghiệm trên máy tính đang được sử dụng phổ biến rộng rãi là mô hình trắc nghiệm thích nghi (TNTN).
Trên thế giới hiện nay có các hình thức kiểm tra như: quan sát, vấn đáp, tự luận (Subjective test) [3], trắc nghiệm khách quan (Objective test) [2] và TNTN (Adaptive test) [24]. Với sự phát triển vượt bậc của khoa học máy tính, thì vấn đề triển khai các hệ thống TNTN dựa trên cơ sở các mô hình toán học là hoàn toàn khả thi. Hiện nay, một số ứng dụng các mô hình và hệ thống TNTN đã được nghiên cứu và hiện thực hóa như: mô hình TNTN trên cơ sở lý thuyết đáp ứng những câu hỏi [16], mô hình TNTN trên cơ sở mạng Bayes [10], … Tuy nhiên các mô hình và hệ thống TNTN kể trên vẫn còn tồn tại một số nhược điểm.
Nhằm khắc phục các hạn chế nêu trên thì đề tài “Ứng dụng Logic mờ xây dựng mô hình trắc nghiệm thích nghi” là cần thiết.
a. Mục đích
Xây dựng mô hình TNTN trên cơ sở lý thuyết Logic mờ; Xây dựng hệ thống TNTN trên cơ sở mô hình đề xuất và triển khai ứng dụng cho việc đánh giá kiến thức của sinh viên Khoa Công nghệ Thông tin, Trường Cao đẳng Công nghệ Thông tin – Đại học Đà Nẵng đối với môn học Lập trình Web; Góp phần vào hướng nghiên cứu mô hình thích nghi, đặc biệt là TNTN nhằm ứng dụng cho thực tiễn giáo dục tại Việt Nam.
b. Ý nghĩa khoa học và thực tiễn của đề tài
– Ý nghĩa khoa học: Xây dựng mô hình TNTN ứng dụng logic mờ;
– Ý nghĩa thực tế: hiện thực hóa hệ thống TNTN trên cơ sở mô hình đề xuất nhằm tự động hóa quá trình đánh giá và nâng cao hiệu quả quá trình đánh giá.
c. Mục tiêu
– Phân tích các mô hình TNTN tồn tại;
– Tìm hiểu lý thuyết logic mờ;
– Xây dựng mô hình TNTN trên cơ sở lý thuyết logic mờ;
– Phát triển hệ thống trắc nghiệm trên cơ sở mô hình đề xuất.
d. Nhiệm vụ
– Đưa ra vấn đề và phân tích vấn đề;
– Phát biểu, phân tích và đề xuất mô hình giải quyết bài toán đặt ra;
– Triển khai thực tế và đánh giá kết quả thu được của hệ thống.
3. Đối tượng và phạm vi nghiên cứu
Đối tượng nghiên cứu
– Các mô hình và thuật toán TNTN;
– Các hệ thống TNTN hiện có;
– Lý thuyết Logic mờ.
Phạm vi nghiên cứu
Đề tài sử dụng Logic mờ làm cơ sở để xây dựng mô hình TNTN cho môn học Lập trình Web tại Khoa Công nghệ Thông tin, Trường Cao đẳng Công nghệ Thông tin – Đại học Đà Nẵng. Nghiên cứu sử dụng ngân hàng câu hỏi gồm các tham số đã được xác định đánh giá tham số năng lực của sinh viên.
a. Phương pháp lý thuyết
Phân tích và đánh giá các mô hình, thuật toán và hệ thống TNTN hiện có và khả năng ứng dụng đối với thực tiễn của giáo dục Việt Nam. Từ đó, đưa ra kết luận và cơ sở cho việc lựa chọn lý thuyết Logic mờ làm nền tảng để xây dựng mô hình TNTN.
Thiết kế mô hình TNTN gồm các thành phần chính sau:
- Mô hình thí sinh;
- Mô hình câu hỏi;
- Thuật toán TNTN: Bao gồm thuật toán lựa chọn câu hỏi và thuật toán đánh giá mức độ năng lực và kiến thức của thí sinh, tập hợp điều kiện dừng của thuật toán TNTN.
b. Phương pháp thực nghiệm
- Xây dựng ngân hàng câu hỏi làm dữ liệu đầu vào cho chương trình, đồng thời thiết lập tập hợp tham số đặc trưng cho từng câu hỏi;
- Xây dựng Website TNTN trên cơ sở mô hình đã đề xuất;
- Triển khai và đánh giá hệ thống.
a. Kết quả của đề tài
- Xây dựng thành công mô hình TNTN dựa trên lý thuyết Logic mờ;
- Áp dụng mô hình đã xây dựng để tạo một hệ thống TNTN để đánh giá kết quả cho môn học Lập trình Web tại Khoa Công nghệ Thông tin, Trường Cao đẳng Công nghệ Thông tin – Đại học Đà Nẵng.
b. Hướng phát triển của đề tài
- Nghiên cứu mô hình sinh thuật toán TNTN dựa trên tập hợp tiêu chí đánh giá đầu vào;
- Nghiên cứu, phát triển khái niệm TNTN tổng hợp có thể áp dụng cho các hướng tiếp cận về TNTN hiện nay.
Chương 1
Cơ sở lý luận và thực tiễn
1.2. Các thành phần cơ bản của trắc nghiệm thích nghi
Hình 1.1. Các thành phần cơ bản của mô hình TNTN
– Ngân hàng câu hỏi (NHCH): là tập hợp câu hỏi đã được ước lượng các tham số đặc trưng như độ khó, độ phân biệt và độ dự đoán. ngân hàng câu hỏi được sử dụng để làm cơ sở đánh giá năng lực thí sinh.
– Thuật toán lựa chọn câu hỏi: Việc đánh giá năng lực của thí sinh trong TNTN phụ thuộc rất lớn vào thuật toán lựa chọn câu hỏi. Vậy nên thuật toán này được sử dụng để lựa chọn câu hỏi tốt nhất từ ngân hàng câu hỏi để đưa vào bài kiểm tra. Câu hỏi này có các tham số câu hỏi tương ứng với tham số năng lực (kiến thức) hiện tại của thí sinh. Thuật toán lựa chọn câu hỏi sẽ thực hiện các thao tác cơ bản sau: tính toán giá trị của hàm thông tin câu hỏi; căn cứ hàm thông tin câu hỏi lựa chọn câu hỏi phù hợp nhất.
– Thuật toán đánh giá mức độ năng lực thí sinh: Sau khi nhận kết quả lựa chọn câu hỏi đề nghị từ thí sinh (đúng/sai), TNTN sẽ tiến hành tính toán đánh giá lại năng lực của thí sinh. Việc tính toán này sẽ đưa tham số năng lực tiệm cận dần đến giá trị năng lực thực của thí sinh, năng lực đánh giá lần sau không thay đổi nhiều so với lần đánh giá trước.
– Điều kiện dừng: cần phải có các điều kiện dừng và các phương án đánh giá để làm căn cứ kết thúc quá trình TNTN vì mô hình TNTN hoạt động theo một thuật toán lặp các thao tác lựa chọn câu hỏi, thí sinh thực thi, đánh giá năng lực và lựa chọn câu hỏi tiếp theo và để hoàn thành việc đánh giá năng lực của thí sinh dự thi. Điều kiện dừng có thể là một hoặc một số tiêu chí như: độ sai lệch năng lực thấp, thời gian làm bài vượt quá thời gian quy định, số lượng câu hỏi vượt quá mức quy định…
1.3. Hoạt động chung của mô hình TNTN
Hoạt động của TNTN hay thuật toán TNTN là một thuật toán lặp, trong đó có các thao tác cơ bản như: Khởi tạo năng lực khởi đầu của thí sinh; Lựa chọn câu hỏi để chọn ra câu hỏi phù hợp nhất từ ngân hàng câu hỏi để cho thí sinh thực hiện; Nhận kết quả phản hồi để ghi nhận kết quả trả lời từ thí sinh: Ước lượng năng lực mới dùng để thực hiện các tính toán để ước lượng lại năng lực mới của thí sinh; Điều kiện dừng là tập các điều kiện để xác định việc tiếp tục lựa chọn câu hỏi hoặc kết thúc quá trình đánh giá.
Hình 1.2. Mô tả hoạt động của TNTN
Về cơ bản hoạt động của mô hình TNTN là một thuật toán lặp như sau:
– Bước 1: Khởi tạo giá trị năng lực ban đầu của thí sinh.
– Bước 2: Dựa vào năng lực (kiến thức) hiện tại của thí sinh, lựa chọn câu hỏi phù hợp nhất từ những câu hỏi chưa được chọn.
– Bước 3: Đưa câu hỏi đã chọn đến thí sinh, thí sinh trả lời, thu nhận kết quả câu trả lời.
– Bước 4: Ước lượng lại năng lực của thí sinh dựa trên kết quả thu nhận được.
– Bước 5: Kiểm tra điều kiện dừng nếu sai quay lại bước 2.
1.4. Phân tích các mô hình TNTN
Tồn tại một số hệ thống TNTN sau:
- Đối với hệ thống TNTN có ràng buộc, mặc dù sự áp đặt những đặc tả nội dung trong việc chọn lựa câu hỏi từ NHCH sẽ là không đạt hiệu quả nếu như kiểm tra động lực học của thí sinh, nhưng lại đặc biệt quan trọng trong việc đánh giá kiến thức của người học.
- Đối với hệ thống TNTN với việc sinh ra các câu hỏi dựa vào quy tắc, những câu hỏi trong bài kiểm tra sẽ được kiểm tra dạng đơn trước khi được sử dụng. Ngoài ra, mỗi phiên bản của TNTN yêu cầu sự thay đổi hoàn toàn NHCH.
– Đối với hệ thống TNTN sử dụng các thời gian đáp ứng (mô hình RTs- Response Times), thí sinh làm bài kiểm tra được tự động ghi lại và thông tin này sẽ được khai thác để nâng cao hệ thống TNTN.
Bảng 1.1. Đối chiếu các mô hình TNTN đã tồn tại
| Nội dung | Độ khó | Số lượng câu hỏi | Đánh giá năng lực | Ngân hàng câu hỏi | Thời gian | Bảo mật | |
| Mô hình 1 | + | – | – | – | + | – | – |
| Mô hình 2 | + | + | + | – | – | – | – |
| Mô hình 3 | + | + | + | – | + | – | – |
Chương 2
Xây dựng mô hình TNTN
2.2. Lý thuyết đáp ứng câu hỏi
2.2.1. Giới thiệu về lý thuyết đáp ứng câu hỏi
2.2.2. Mô hình IRT 3 tham số (Birbaum)
Trong mô hình IRT 3 tham số, bên cạnh các tham số độ khó của câu hỏi cũng như tham số độ phân biệt của câu hỏi thường được sử dụng trong các mô hình TNTN trước đây, thì tham số dự đoán câu hỏi (c) được xét thêm. Phạm vi độ dự đoán được xét trong phạm vi 0 ≤ c ≤ 0.5
- Ước lượng năng lực thí sinh
Năng lực thí sinh được đánh giá thông qua câu hỏi và khả năng đáp ứng của thí sinh. Phương pháp phổ biến nhất để ước lượng năng lực thí sinh là thông qua IRT. IRT có ưu điểm là có thể so sánh ngay cả trên những thí sinh làm nhiều bài kiểm kiểm tra khác nhau. Năng lực ước tính thường khoảng từ -5 đến +5, với trung bình hoặc trung bình khoảng 0. Hầu hết các đợt kiểm tra đều phân biệt giữa các trọng số năng lực tạm thời trong khi kiểm tra nên quá trình lựa chọn các câu hỏi tiếp theo, và điều kiện dừng luôn thực hiện một cách tối ưu nhất.
Hàm thông tin câu hỏi: mỗi câu hỏi cung cấp một thông tin nào đó về năng lực cần đo của thí sinh.
2.3. Xây dựng mô hình TNTN dựa trên Logic mờ kết hợp IRT 3 tham số
2.3.1. Giới thiệu tổng quan mô hình TNTN
F:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\KHOA HOC MAY TINH\DƯONG QUOC HOANG TU
