Nghiên cứu kỹ thuật phân lớp bằng cây quyết định và ứng dụng tư vấn việc làm ở Quảng Ngãi
MỞ ĐẦU
1. Tính cấp thiết của đề tài
Sự phát triển không ngừng của công nghệ thông tin, các hệ thống cơ sở dữ liệu đã đem lại lợi ích vô cùng to lớn cho nhân loại. Sự phát triển đó, cùng với ứng dụng của nó trong đời sống, kinh tế, xã hội, lượng dữ liệu thu thập ngày càng nhiều theo thời gian, làm xuất hiện ngày càng nhiều các hệ thống cơ sở dữ liệu có kích thước lớn.
Các cơ sở dữ liệu lớn thường chứa một lượng không nhỏ các thông tin hữu ích, làm cơ sở giúp con người đưa ra các quyết định chính xác, hợp lý. Do đó, các hệ thống khai phá dữ liệu đã ra đời.
Trong thị trường lao động hiện nay, người lao động mong muốn tìm kiếm được việc làm ổn định, có thu nhập cao đủ để trang trải cuộc sống, nhà quản lý chính sách lao động – việc làm cũng muốn thực hiện tốt chính sách việc làm cho người lao động nhằm đảm bảo an sinh xã hội. Trên thực tế, nhiều cơ quan giới thiệu việc làm đã tổ chức nhiều hình thức tư vấn việc làm phong phú.
Tuy nhiên, thực tế hiện nay cho thấy cả người lao động và các nhà tư vấn việc làm đang thiếu các thông tin hữu ích nhằm định hướng các công việc phù hợp với năng lực và trình độ của người lao động.
Hiện nay, Trung tâm Dịch vụ việc làm tỉnh Quảng Ngãi đang lưu trữ bộ cơ sở dữ liệu khá lớn về thông tin cá nhân và việc làm của người lao động đã được trung tâm tư vấn, giới thiệu việc làm cho người lao động trong nhiều năm qua. Việc áp dụng kỹ thuật phân lớp trong khai phá dữ liệu vào bộ cơ sở dữ liệu này sẽ tìm ra được các thông tin khá hữu ích, giúp trung tâm và người lao động có thêm một kênh thông tin quan trọng, góp phần nâng cao hiệu quả trong việc tư vấn, giới thiệu việc làm cho người lao động. Trong các kỹ thuật phân lớp, một phương pháp khá hiệu quả là phân lớp bằng cây quyết định.
Vì lý do trên, tôi chọn đề tài “Nghiên cứu kỹ thuật phân lớp bằng cây quyết định và ứng dụng tư vấn việc làm ở Quảng Ngãi” để thực hiện luận văn của mình.
2. Mục tiêu nghiên cứu
Nắm vững kiến trúc của kho dữ liệu
Nắm vững kỹ thuật và công cụ BIDS trong SQL Server để tự động chuyển đổi lượng dữ liệu khổng lồ thành các tri thức có ích.
Vận dụng tốt kỹ thuật phân lớp bằng cây quyết định để xây dựng hệ thống dự đoán công việc phù hợp với khả năng của người lao động.
Thiết kế các mô hình mô phỏng trong môi trường SQL Server
3. Đối tượng và phạm vi nghiên cứu
Tổng quan về khai phá dữ liệu
Kỹ thuật phân lớp bằng cây quyết định trong khai phá dữ liệu.
Công cụ BIDS trong SQL Server
4. Phương pháp nghiên cứu
a. Phương pháp lý thuyết
Tiến hành thu thập và nghiên cứu các tài liệu có liên quan đến đề tài.
Nghiên cứu lý thuyết khai phá dữ liệu nói chung và kỹ thuật phân lớp bằng cây quyết định nói riêng.
Tìm hiểu môi trường SQL Server và cách thiết kế các mô hình trong môi trường SQL Server
b. Phương pháp thực nghiệm
Thu thập dữ liệu từ CSDL hiện có từ Trung tâm Dịch vụ việc làm tỉnh Quảng Ngãi
Xử lý dữ liệu và xác định các loại thông tin quan trọng ảnh hưởng đến khả năng tìm việc làm của người lao động như: độ tuổi, trình độ học vấn, năm tốt nghiệp, quê quán, trình độ ngoại ngữ.
Xác định các thông tin cần tư vấn cho người lao động: mức lương phù hợp, loại công việc phù hợp, loại hình doanh nghiệp, quy mô doanh nghiệp…
Nghiên cứu và khai thác công cụ BIDS trong SQL Server để xây dựng cây quyết định.
Tạo giao diện chương trình tư vấn việc làm.
Kiểm tra, thử nghiệm, nhận xét và đánh giá kết quả.
5. Bố cục đề tài
Chương 1: Tổng quan về kho dữ liệu và khai phá dữ liệu
Chương 2: Kỹ thuật phân lớp với cây quyết định
Chương 3: Ứng dụng trong hệ thống tư vấn việc làm.
Phần kết luận của luận văn tổng kết lại những vấn đề đã nghiên cứu, đánh giá kết quả nghiên cứu, hướng phát triển của đề tài.
Phần phụ lục trình bày một số giao diện trong quá trình khai phá dữ liệu.
CHƯƠNG 1:TỔNG QUAN VỀ KHO DỮ LIỆU VÀ KHAI PHÁ DỮ LIỆU
1.1. TỔNG QUAN VỀ KHO DỮ LIỆU (DATA WAREHOUSE)
1.1.1. Kho dữ liệu
– Data warehouse – kho dữ liệu là một tập hợp thông tin cơ bản trên máy tính có tính quyết định đến việc thực hiện thành công bước đầu trong công việc kinh doanh, quản lý, hoạch định chính sách trên tất cả các lĩnh vực kinh tế – xã hội.
– Một kho dữ liệu được xác định đúng hướng, hoạt động hiệu quả có thể trở thành một công cụ cạnh tranh có giá trị cao trong kinh doanh.
1.1.2. Mục đích của kho dữ liệu
Mục tiêu chính của kho dữ liệu là đạt những mục tiêu sau: Phải có khả năng đáp ứng mọi thông tin yêu cầu của người dùng; hỗ trợ nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của họ; giúp các tổ chức xác định, quản lý, điều hành các dự án, nghiệp vụ một cách hiệu quả và chính xác; tích hợp dữ liệu và siêu dữ liệu từ nhiều nguồn khác nhau.
1.1.3. Lợi ích của kho dữ liệu
1.1.4. Thành phần của kho dữ liệu
Các thành phần của kho dữ liệu bao gồm: nguồn dữ liệu, khu vực xử lý, kho dữ liệu
Nguồn dữ liệu
Người dùng cuối
Clients
Metadata, Summarydata, Raw data
ETL
Khu vực xử lý
Kho dữ liệu
Operational system
Operational system
Flat file
Hình 1.1. Các thành phần của kho dữ liệu
1.1.5. Cấu trúc của kho dữ liệu
Một kho dữ liệu có thể có một vài phần của cấu trúc sau:
– Kho dữ liệu mức vật lý
– Kho dữ liệu mức logic
– Kho dữ liệu thông minh hay dữ liệu theo chủ đề (Data mart)
1.1.6. Các lĩnh vực ứng dụng của kho dữ liệu
1.2. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ KHÁM PHÁ TRI THỨC
1.2.1. Khai phá dữ liệu
Sự bùng nổ công nghệ thông tin đã đem lại cho chúng ta lượng dữ liệu khổng lồ, nó thực sự là một nguồn tài nguyên có nhiều giá trị bởi thông tin là yếu tố then chốt phục vụ cho mọi hoạt động quản lý, kinh doanh, phát triển sản xuất và dịch vụ. Nó giúp người quản lý có những hiểu biết về môi trường và tiến trình hoạt động của tổ chức mình trước khi ra quyết định để tác động đến quá trình hoạt động nhằm đạt được các mục tiêu một cách hiệu quả và bền vững.
1.2.2. Kiến trúc của một hệ thống khai phá dữ liệu
Khai phá dữ liệu là một quá trình rút trích thông tin bổ ích từ những kho dữ liệu lớn. Khai phá dữ liệu là quá trình chính trong khai phá tri thức từ cơ sở dữ liệu. Kiến trúc của một hệ thống khai phá dữ liệu gồm có các thành phần: Cơ sở dữ liệu, máy chủ cơ sở dữ liệu, cơ sở tri thức, máy khai phá dữ liệu, Modul đánh giá mẫu, giao diện đồ họa của người dùng.
1.2.3. Quá trình khám phá dữ liệu
Quá trình khá phá tri thức có thể chia thành 5 bước: Trích chọn dữ liệu, tiền xử lý dữ liệu, biến đổi dữ liệu, khai phá dữ liệu, đánh giá và biểu diễn tri thức, được biểu diễn mô hình sau:
Dữ liệu thô
Dữ liệu lựa chọn
Tiền xử lý
Dữ liệu tiền xử lý
Biến đổi
Dữ liệu biến đổi
Khai phá
Các mẫu
Đánh giá, biểu diễn
Tri thức
Trích chọn
Hình 1.3. Quá trình khám phá tri thức
1.2.4. Khai phá dữ liệu và các lĩnh vực liên quan
1.2.5. Các kỹ thuật áp dụng trong khai phá dữ liệu
Khám phá tri thức là một lĩnh vực liên ngành, bao gồm: Tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác.
1.2.6. Những chức năng chính của khai phá dữ liệu
Hai mục tiêu chính của KPDL là mô tả và dự báo. Dự báo là dùng một số biến hoặc trường trong cơ sở dữ liệu để dự đoán ra các giá trị chưa biết hoặc sẽ có của các biến quan trọng khác. Việc mô tả tập trung vào tìm kiếm các mẫu mà con người có thể hiểu được để mô tả dữ liệu. Các chức năng chính của KDD gồm: Mô tả lớp, phân tích sự kết hợp, phân lớp và dự báo, phân cụm, phân tích các đối tượng, phân tích sự tiến hóa.
1.2.7. Ứng dụng của khai phá dữ liệu
KPDL là một lĩnh vực được quan tâm và ứng dụng rộng rãi. Một số ứng dụng điển hình trong KPDL có thể liệt kê như sau: Phân tích dữ liệu và hỗ trợ ra quyết định, điều trị y học, khai phá văn bản, khai phá Web, tin-sinh, tài chính và thị trường chứng khoán, bảo hiểm,…
1.3. KẾT LUẬN CHƯƠNG 1
Các tri thức tiềm ẩn trong các CSDL có ý nghĩa rất lớn trong nhiều lĩnh vực. Vì vậy, việc phát hiện, rút trích tự động các tri thức ẩn từ các tập hợp dữ liệu lớn thông qua các mẫu, mô hình dữ liệu đóng một vai trò hết sức quan trọng, đặc biệt là trong bối cảnh hiện nay khi sự phát triển nhanh chóng của các ứng dụng công nghệ thông tin ở nhiều ngành nghề trong đời sống xã hội, ngày càng tạo ra nhiều CSDL khổng lồ. Chương này trình bày tóm tắt những thành phần, cấu trúc của kho dữ liệu, các phương pháp khai phá dữ liệu phổ biến, ứng dụng khai phá dữ liệu trong các lĩnh vực đời sống xã hội.
CHƯƠNG 2
KHAI PHÁ DỮ LIỆU PHÂN LỚP VỚI CÂY
2.1.1. Khái niệm sự phân lớp
Phân lớp dữ liệu là gán các mẫu mới vào các lớp với độ chính xác cao nhất để dự báo cho các bộ dữ liệu (mẫu) mới.
Đầu vào – một tập các mẫu dữ liệu huấn luyện, với một nhãn phân lớp cho mỗi mẫu dữ liệu. Đầu ra – mô hình dự đoán (bộ phân lớp) dựa trên tập huấn luyện và những nhãn phân lớp.
2.1.2. Quá trình phân lớp
Quá trình phân lớp dữ liệu thường gồm 2 bước: xây dựng mô hình và sử dụng mô hình để phân lớp dữ liệu
2.1.3. Kỹ thuật phân lớp
Có rất nhiều kỹ thuật phân lớp, mỗi kỹ thuật có những đặc điểm phù hợp với một lớp các bài toán, với các dạng dữ liệu và miền dữ liệu nhất định. Các kỹ thuật phân lớp gồm: Phương pháp quy nạp bằng cây quyết định, phân lớp cây quyết định trong cơ sở dữ liệu lớn, phân lớp Bayesian, phân lớp bằng mạng lan truyền ngược (mạng nowtron), phân lớp dựa trên nguyên lý khai phá luật kết hợp và các phân lớp khác.
2.2. KHAI PHÁ DỮ LIỆU BẰNG CÂY QUYẾT ĐỊNH
2.2.1. Định nghĩa cây quyết định
F:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\KHOA HOC MAY TINH\VO_MINH_HOANG
