Nghiên cứu phương pháp nhận dạng cử chỉ khuôn mặt ứng dụng cho ngôn ngữ ký hiệu tiếng Việt

MỞ ĐẦU

Tính cấp thiết của đề tài

Trong cuộc sống hàng ngày con người dùng tiếng nói để giao tiếp với nhau, bên cạnh ngôn ngữ nói còn có một loại ngôn ngữ khác để hỗ trợ khả năng giao tiếp của con người đó chính là Ngôn ngữ ký hiệu.

Ngôn ngữ ký hiệu là ngôn ngữ hoàn toàn khác biệt và độc lập với ngôn ngữ nói hay ngôn ngữ viết. Sự khác biệt cơ bản là hạn chế vốn từ vựng của ngôn ngữ ký hiệu. Ngôn ngữ này được sử dụng phổ biến trong cộng đồng người khiếm thính bao gồm bạn bè, gia đình của người khiếm thính nhưng thật không may những người bình thường hiện nay lại có rất ít kiến thức về ngôn ngữ ký hiệu dẫn đến việc cô lập cộng đồng người khiếm thính với xã hội.

Ngôn ngữ ký hiệu là ngôn ngữ cử chỉ tay với dấu hiệu truyền trực quan bằng tay sử dụng hình dạng của bàn tay, hướng và sự di chuyển của bàn tay, cánh tay hoặc cơ thể, nét mặt và miệng để truyền đạt ý nghĩa từ thay vì sử dụng âm thanh. Mặc dù đặc điểm khuôn mặt được coi là yếu tố cần thiết để hiểu ngôn ngữ ký hiệu, nhưng hầu hết các hệ thống nhận dạng đều giải quyết việc nhận dạng cử chỉ tay.

Trong hơn thập kỷ qua, nhiều công trình nghiên cứu đã hướng tới phát triển một hệ thống nhận dạng với nhiều ngôn ngữ ký hiệu khác nhau nhưng chưa có công trình nghiên cứu kiểm nghiệm ý nghĩa của nét mặt đối với nhận dạng ngôn ngữ ký hiệu tự động.

Với những lý do trên, tôi đã quyết định chọn đề tài luận văn cao học: “Nghiên cứu phương pháp nhận dạng cử chỉ khuôn mặt ứng dụng cho ngôn ngữ ký hiệu tiếng Việt”.

Mục đích và ý nghĩa của đề tài

• • Mục đích

Nghiên cứu kỹ thuật nhận dạng cử chỉ khuôn mặt con người trong ngôn ngữ ký hiệu tiếng Việt

• • Ý nghĩa khoa học

Kết quả thu được là cơ sở để thực hiện các nghiên cứu tiếp theo về nhận dạng cử chỉ, thường ứng dụng trong giao tiếp người -máy, giữa những người khiếm thính với nhau.

• • Ý nghĩa thực tiễn
• Hỗ trợ giao tiếp trong cộng đồng người khiếm thính tại Việt Nam.
• Hỗ trợ tương tác máy tính từ xa thông qua Kinect.

Đối tƣợng và phạm vi nghiên cứu

• • Đối tượng nghiên cứu
• Ngôn ngữ ký hiệu nói chung và ngôn ngữ kí hiệu tiếng Việt.
• Hình ảnh ký hiệu.
  • Phạm vi nghiên cứu
• Biểu hiện khuôn mặt trong phạm vi ngôn ngữ ký hiệu tiếng Việt.
• Dữ liệu xử lý là dữ liệu hình ảnh được ghi bởi camera cố định.

Phƣơng pháp nghiên cứu

• • Phương pháp lý thuyết
• Đọc tài liệu về ngôn ngữ ký hiệu tiếng Việt.
• Tìm hiểu cơ sở lý thuyết về các kỹ thuật xử lý ảnh và nhận dạng.
• Tìm và đọc các bài báo khoa học có liên quan đến đề tài.
  • Phương pháp thực nghiệm
• Xây dựng chương trình demo dựa trên giải thuật đề xuất.
• Thử nghiệm chương trình và đánh giá kết quả trên một số dữ liệu tự thu hình.

Bố cục luận văn

Mở đầu

Chương 1: Nghiên cứu tổng quan về ngôn ngữ ký hiệu tiếng Việt và bài toán nhận dạng cử chỉ khuôn mặt.

Chương 2: Phương pháp trích chọn đặc trưng khuôn mặt theo mô hình AAM và phân lớp theo mô hình Markov ẩn.

Chương 3: Nhận dạng cử chỉ khuôn mặt cho ngôn ngữ ký hiệu tiếng Việt.

Kết luận và hướng phát triển.

CHƢƠNG 1

TỔNG QUAN VỀ NGÔN NGỮ KÝ HIỆU TIẾNG VIỆT VÀ BÀI TOÁN NHẬN DẠNG NHẬN DẠNG CỬ CHỈ KHUÔN MẶT

• 1. GIỚI THIỆU NGÔN NGỮ KÝ HIỆU

Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ chủ yếu được cộng đồng người câm điếc sử dụng nhằm chuyển tải thông tin qua cử chỉ, điệu bộ của cơ thể và nét mặt thay cho lời nói.

Diễn đạt ngôn ngữ ký hiệu

Ngôn ngữ ký hiệu là ngôn ngữ không lời và có năm thành phần chính dựa vào cách mà cơ thể con người diễn tả cảm xúc.

Chuyển động của Tay

Hình 1.1. Chuyển động tay diễn đạt ngôn ngữ ký hiệu

Tuy nhiên, chuyển động của bàn tay thôi chưa đủ mà phải kết hợp với các yếu tố khác.

Chuyển động của miệng

Chuyển động của miệng khi ra dấu không giống như khi chúng

ta nói. Chuyển động của miệng có thể diễn tả hình dạng và kích thước. Ví dụ, chúng ta phồng má ra khi thể hiện một vật to lớn, mím môi hay “hút” không khí khi nói về vật mỏng và nhỏ.

Diễn tả nét mặt

Diễn tả nét mặt là yếu tố rất quan trọng trong sử dụng ngôn ngữ ký hiệu. Chúng ta không thể nào có một khuôn mặt tươi cười khi làm dấu đang đau khổ, ngược lại, cũng không thể có khuôn mặt buồn bã khi thể hiện ký hiệu “hạnh phúc”.

Ngôn ngữ cơ thể

• • • 1. Ánh mắt:

Không thể giao tiếp được nếu không nhìn vào mắt nhau. Thông thường, không có sự tiếp xúc qua ánh mắt là dấu hiệu giận dữ hay thô lỗ. Với ngôn ngữ ký hiệu cũng vậy, để giao tiếp thành công phải duy trì việc tiếp xúc qua ánh mắt. Người nghe có thể vừa làm việc vừa nói chuyện không cần phải ngừng công việc để nhìn người nói chuyện với mình, nhưng với người khiếm thính thì đây là điều không thể.

Đặc điểm của ngôn ngữ ký hiệu

Hai đặc điểm quan trọng nhất của NNKH là tính giản lược và có điểm nhấn.

Ngôn ngữ ký hiệu tiếng Việt

Bảng chữ cái ngôn ngữ ký hiệu tiếng Việt

Hình 1.2. Bảng chữ cái ngôn ngữ ký hiệu tiếng Việt

Bảng chữ số ngôn ngữ ký hiệu tiếng Việt

Hình 1.3. Bảng chữ số ngôn ngữ ký hiệu tiếng Việt.

Từ và thuật ngữ

Hiện nay từ điển ngôn ngữ ký hiệu tiếng Việt có thể chia thành mười (10) vùng, miền và trong một vùng, nhóm vẫn có sự khác nhau về các từ, cụm từ có cùng ý nghĩa. Ví dụ từ “CẢM ƠN” (Bảng 1.1).

Bảng 1.1. Biểu diễn từ “CẢM ƠN” trong NNKH Tiếng Việt

STT	VÙNG	THỂ HIỆN	HÌNH ẢNH
1.	Lâm Đồng	Bàn tay phải chụm đưa lên trước miệng rồi từ từ mở ra trước mặt, lòng bàn tay ngửa.
2.	Lâm Đồng	Hai bàn tay hơi khum, lòng bàn tay phải úp lên mu bàn tay trái, đưa hai tay về phía phải rồi từ từ kéo về đặt trước ngực. Sau đó nhấn tay nhẹ xuống dưới đồng thời cuối đầu xuống.
3.	Thuận An	Hai tay đặt trước ngực, lòng bàn tay hướng vào người rồi cuộn hai tay vào trong ngực đẩy lên gần miệng và lật ngửa hai bàn tay lên đồng thời đầu hơi cúi.

• 1. BÀI TOÁN NHẬN DẠNG CỬ CHỈ KHUÔN MẶT

Quy trình nhận dạng cử chỉ khuôn mặt

Mô hình tổng quát hệ thống nhận dạng ngôn ngữ ký hiệu:

Thu nhận đối tượng,

tiền xử lý

Trích chọn đặc trưng

Nhận dạng

Xử lý kết quả

Hình 1.4. Mô hình tổng quát hệ thống nhận dạng cử chỉ khuôn mặt

Dữ liệu đầu vào

Dữ liệu có thể là một hình ảnh, hoặc một chuỗi các hình ảnh (video), được chụp bởi một máy camera cố định hướng tới người thực hiện các cử chỉ.

Tiền xử lý dữ liệu

Nếu là dữ liệu dạng video thì sẽ được tách thành từng frame để xử lý, mỗi frame là một ảnh. Ảnh được chuyển về dạng ảnh xám (gray scale) hoặc ảnh nhị phân và được xử lý để phù hợp với các thao tác trích chọn đặc trưng, nhận dạng sau này.

Một số kỹ thuật được áp dụng trong giai đoạn này như chuyển sang ảnh xám hoặc ảnh nhị phân, lọc màu da, và một số phương pháp xử lý ảnh… Việc áp dụng kỹ thuật nào tùy thuộc vào yêu cầu của hệ thống và nó chịu ảnh hưởng bởi những giai đoạn kế tiếp.

Trích chọn đặc trƣng khuôn mặt

Một hình ảnh sẽ được trích xuất các đặc điểm quan trọng nhất của nó mà có thể đại diện cho toàn bộ hình ảnh. Trong giai đoạn trích chọn đặc trưng, mỗi đối tượng được đại diện bởi một véc tơ đặc trưng (feature vector). Mục tiêu chủ yếu của trích chọn đặc trưng là trích xuất một tập hợp các đặc trưng, trong đó, tối đa hóa tỷ lệ nhận dạng với sự nhầm lẫn nhỏ nhất.

Nhận dạng cử chỉ

Nhận dạng nhằm mục đích phân loại dữ liệu dựa trên những kiến thức tiên nghiệm hoặc dựa vào thông tin thống kê được trích rút từ các mẫu có sẵn.

• 1. MỘT SỐ PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG KHUÔN MẶT
     1. Phƣơng pháp trích chọn đặc trƣng hình học
     2. Phƣơng pháp trích chọn đặc trƣng diện mạo

CHƢƠNG 2

PHƢƠNG PHÁP TRÍCH CHỌN ĐẶC TRƢNG KHUÔN MẶT THEO MÔ HÌNH AAM VÀ PHÂN LỚP THEO

MÔ HÌNH MARKOV ẨN

• 1. MỘT SỐ KHÁI NIỆM TOÁN HỌC LIÊN QUAN

  2. 

     MỘT SỐ TIẾP CẬN TRÍCH CHỌN ĐẶC TRƢNG MÔ TẢ CẢM XÚC KHUÔN MẶT

Hình 2.1. Các cảm xúc khác nhau của khuôn mặt

Phƣơng pháp sử dụng Action Units

Ý tưởng của phương pháp này nhận dạng cảm xúc dựa trên các đơn vị chuyển động của khuôn mặt (AU).

Phƣơng pháp dựa trên đặc trƣng ảnh

Phương pháp này sử dụng các kỹ thuật khác nhau để đo độ tương đồng giữa 2 bức hình để nhận dạng. Các kỹ thuật sử dụng trong phương pháp này là phân tích thành phần chính PCA.

LIÊN HỆ:

SĐT+ZALO: 0935568275

F:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\KHOA HOC MAY TINH\NGUYEN THI VU THAO