Phương pháp nhận dạng cảm xúc âm nhạc trên cơ sở học máy

MỞ ĐẦU

1. 1. Lý do chọn đề tài

Thông thường, việc phân loại âm nhạc sử dụng thẻ như tên album, tên ca sĩ, hoặc tên bài hát; tuy nhiên những phương pháp này không làm hài lòng mọi người trong một số trường hợp và yêu cầu cụ thể. Ví dụ, người ta cần một bản nhạc với nhịp độ chậm để thư giãn cơ thể và dễ ngủ. Hay trong những bữa tiệc cần một số bài hát vui nhộn với nhịp độ nhanh để giúp mọi người thỏa mãn sự hứng thú, niềm đam mê. Trong những trường hợp này, phân loại nhạc theo cảm xúc là hợp lý hơn so với cách truyền thống bởi vì mọi người có thể không có đủ thời gian và kiên nhẫn để tìm bản nhạc thích hợp bằng cách kiểm tra từng bài một.

Gần đây nhận dạng cảm xúc âm nhạc (Music Emotion Recognition – MER) đã trở thành một đề tài nghiên cứu thiết thực. Đề tài này đã được giải quyết bằng cách cách tiếp cận phân loại. Vấn đề cơ bản của cách tiếp cận phân loại là khái niệm về các cảm xúc hoặc các nhóm cảm xúc cơ bản và áp dụng kỹ thuật học máy để huấn luyện một máy phân loại. Các khái niệm về cảm xúc cơ bản là đa dạng; những nghiên cứu khác nhau đã sử dụng những bộ cảm xúc cơ bản khác nhau. Đó là một nhược điểm lớn của cách tiếp cận phân loại vì các lớp cảm xúc chính là quá nhỏ so với sự cảm nhận phong phú về âm nhạc của con người. Vì vậy, các vấn đề liên quan đến bao nhiêu lớp cảm xúc và những lớp nào nên được sử dụng dường như vẫn còn bỏ ngõ. Bên cạnh đó, việc phát triển một hệ thống tự động phân loại âm nhạc một cách chính xác thành nhiều lớp là rất khó khăn. Người ta quan sát thấy rằng độ chính xác phân loại của một mô hình tự động là tỷ lệ nghịch với số lượng các lớp xem xét. Trong đề tài này các cảm xúc: hạnh phúc, giận dữ, buồn bã, sợ hãi, và dịu dàng được sử dụng để phân loại thay vì 4 cảm xúc trong phần lớn các nghiên cứu trước đây.

Kích thước của các tập dữ liệu âm nhạc trong các công trình trước đây liên quan đến MER thường không đủ lớn. Để cải thiện tính chính xác của nhận dạng cảm xúc, 400 clip âm nhạc được sử dụng để tạo ra một mô hình huấn luyện trong đề tài này.

Vì những lý do như trên, tôi đề xuất chọn đề tài luận văn cao học: “Phương pháp nhận dạng cảm xúc âm nhạc trên cơ sở học máy”

1. 2. Mục tiêu nghiên cứu

Mục tiêu của đề tài là đề xuất phương pháp nhận dạng cảm xúc âm nhạc trên cơ sở học máy.

Đề tài tập trung vào các nhiệm vụ cụ thể sau:

• Tìm hiểu lý thuyết về nhận dạng cảm xúc.
• Tìm hiểu mối quan hệ giữa đặc tính âm nhạc và nhận thức cảm xúc.
• Tìm hiểu về các phương pháp nhận dạng cảm xúc

1. 3. Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu
• – Các phương pháp nhận dạng cảm xúc
• – Các đặc tính âm nhạc
• Phạm vi nghiên cứu
• – Nghiên cứu trong lĩnh vực âm nhạc và trên cơ sở học máy.

1. 4. Phương pháp nghiên cứu

• Phương pháp nghiên cứu lý thuyết
• – Tiến hành thu thập và nghiên cứu các tài liệu có liên quan đến đề tài.
• – Tổng hợp các tài liệu.
• – Chọn lọc các tài liệu nghiên cứu để báo cáo luận văn.
• Phương pháp nghiên cứu thực nghiệm

– Xây dựng mô hình nhận dạng cảm xúc âm nhạc

– Xây dựng tập dữ liệu âm nhạc.

– Xây dựng mô hình huấn luyện bằng công cụ Weka.

– Kiểm tra, thử nghiệm và đánh giá kết quả.

1. 5. Ý nghĩa khoa học và thực tiễn của đề tài

– Áp dụng lý thuyết tính toán cảm xúc và học máy để nhận dạng cảm xúc âm nhạc.

– Đề xuất giải pháp góp phần phân loại và tổ chức âm nhạc hiệu quả hơn, giúp cho những người thưởng thức âm nhạc dễ dàng tìm kiếm những bản nhạc theo cảm xúc mong muốn.

1. 6. Bố cục luận văn

Luận văn bao gồm 3 chương sau đây :

Chương 1. Nhận dạng cảm xúc âm nhạc.

Chương 2. Mối quan hệ giữa đặc tính âm nhạc và nhận thức cảm xúc.

Chương 3. Xây dựng mô hình nhận dạng cảm xúc âm nhạc và kết quả thực nghiệm

CHƯƠNG 1NHẬN DẠNG CẢM XÚC ÂM NHẠC

TỔNG QUAN VỀ NHẬN DẠNG CẢM XÚC ÂM NHẠC

• • 1. Tầm quan trọng của việc nhận dạng cảm xúc âm nhạc

Âm nhạc đóng một vai trò quan trọng trong cuộc sống hàng ngày, đặc biệt là trong thời đại kỹ thuật số như hiện nay. Với số lượng nội dung không ngừng tăng lên, phương pháp quản lý âm nhạc truyền thống này không còn đủ khả năng để đáp ứng yêu cầu. Ta cần phải mở rộng cách thức tổ chức và tìm kiếm thông tin âm nhạc để đáp ứng nhu cầu tiếp cận thông tin dễ dàng và hiệu quả đang ngày một gia tăng. Mặc dù việc tìm kiếm thông tin âm nhạc dựa trên cảm xúc còn tương đối mới tại thời điểm đó, một khảo sát tiến hành vào năm 2004 đã cho thấy rằng 28.2% số người tham gia coi cảm xúc là một tiêu chí quan trọng trong quá trình tìm kiếm và tổ chức thông tin âm nhạc. Từ đó, việc tìm kiếm thông tin âm nhạc dựa trên cảm xúc đã nhận được rất nhiều sự quan tâm từ cả giới học giả và ngành công nghiệp.

• • 1. Nhận dạng sự nhận thức cảm xúc âm nhạc

Chúng ta có thể nhận thức được một cảm xúc thể hiện trong một bài hát (nhận thức cảm xúc) hoặc cảm nhận được một cảm xúc đối với bài hát (cảm ứng cảm xúc). Cả cảm xúc nhận thức và cảm xúc cảm nhận, đặc biệt là cảm xúc cảm nhận, đều phụ thuộc vào sự tác động lẫn nhau giữa các yếu tố âm nhạc, cá nhân và tình huống. Trong luận văn này, chúng tôi tập trung vào cảm xúc nhận thức, bởi vì loại cảm xúc này không chịu nhiều ảnh hưởng của yếu tố tình huống (môi trường, tâm trạng, …) trong quá trình nghe.

• • 1. Các vấn đề về nhận dạng cảm xúc âm nhạc

Vấn đề mơ hồ và cụ thể khi mô tả cảm xúc

1. Tính chủ quan của nhận thức cảm xúc
2. Khoảng cách ngữ nghĩa giữa tín hiệu âm thanh ở mức độ thấp và nhận thức con người ở cấp độ cao

CÁC PHƯƠNG PHÁP MÔ TẢ CẢM XÚC TRONG ÂM NHẠC

• • 1. Phương pháp phân loại

Phương pháp tiếp cận phân loại đối với khái niệm hóa cảm xúc coi các cảm xúc mà con người trải qua được xếp theo các thể loại khác nhau. Điểm mấu chốt của phương pháp này là khái niệm về các cảm xúc cơ bản. Mỗi cảm xúc “cơ bản” được định nghĩa theo chức năng đối với các sự kiện có liên quan đến mục tiêu xảy ra thường xuyên trong quá trình tiến hóa.

Một phương pháp tiếp cận phân loại tiêu biểu khác là danh sách tính từ của Hevner [10], [11]. Thông qua các thí nghiệm, tám nhóm tính từ thể hiện cảm xúc được phát hiện và trình bày dưới dạng một vòng tròn. Danh sách tính từ của Hevner (đề xuất năm 1935) sau đó đã được được Schubert điều chỉnh thành chín nhóm vào năm 2003.

• • 1. Phương pháp không gian

Phương pháp không gian lại tập trung vào việc xác định các cảm xúc dựa trên vị trí của chúng trên một số lượng nhỏ “chiều” cảm xúc với các trục được đặt tên tương ứng với các biểu diễn cảm xúc bên trong của con người. Các chiều cảm xúc bên trong này được phát hiện thông qua việc phân tích mối tương quan giữa các từ ngữ chỉ cảm xúc. Để thực hiện phân tích này, các đối tượng tham gia được yêu cầu sử dụng một lượng lớn các thang đánh giá của các từ chỉ cảm xúc để miêu tả cảm xúc của các kích thích âm nhạc, sau đó sử dụng các kỹ thuật phân tích yếu tố để thu được một lượng nhỏ các yếu tố cơ bản (chiều) từ mối tương quan giữa các thang đo. Có thể nhận thấy rằng hầu hết các nhân tố này tương ứng với hai chiều cảm xúc sau đây: valence (sự lôi cuốn), arousal (mức độ năng lượng và kích thích).

• • 1. Phương pháp phát hiện sự biến đổi cảm xúc âm nhạc

CÁC PHƯƠNG PHÁP NHẬN DẠNG CẢM XÚC

• • 1. Phương pháp phân loại

1. Thu thập dữ liệu
2. Xử lý dữ liệu

Để so sánh một cách chính xác, các đoạn nhạc thường được chuyển sang dạng tiêu chuẩn (ví dụ: tần số lấy mẫu 22,050 Hz, độ chính xác 16 bit, và kênh đơn sắc). Hơn nữa, một bản nhạc hoàn chỉnh có thể chứa các phân đoạn với các cảm xúc khác nhau, một đoạn có độ dài 20 đến 30 giây tiêu biểu cho cả bài hát thường được lựa chọn để giảm sự biến đổi cảm xúc trong đoạn.

Trên thực tế, người ta cũng thường điều chỉnh âm lượng của các bản nhạc đến một giá trị tiêu chuẩn để giảm thiểu tác động sản xuất (tức là, một số bài hát được thu âm với âm lượng cao hơn, trong khi những bài khác được thu âm với âm lượng thấp hơn). Một phương pháp tương đối khả thi trong chuẩn hóa âm lượng là tìm âm lượng to nhất của dạng sóng âm thanh, sau đó khuếch đại hoặc giảm bớt toàn bộ dạng sóng âm cho đến khi âm lượng to nhất đạt đến một giá trị cụ thể. Phương pháp này được thực hiện bằng một công cụ biên tập âm nhạc phổ biến đó là phần mềm Cool Edit Pro.

1. Thử nghiệm chủ quan

Bởi vì cảm xúc có tính chất chủ quan, việc thu thập các dữ liệu thực tế phải được tiến hành cẩn thận. Có thể nhóm các phương pháp mô tả cảm xúc thành hai nhóm: phương pháp dựa vào chuyên gia và phương pháp dựa vào đối tượng. Phương pháp dựa vào chuyên gia chỉ lựa chọn một số chuyên gia âm nhạc (thường dưới năm người) để mô tả các cảm xúc. Những bản nhạc không có được sự thống nhất về cảm xúc giữa các chuyên gia sẽ bị bỏ qua. Trong phương pháp dựa vào đối tượng, các nhà nghiên cứu tiến hành các thử nghiệm chủ quan và lựa chọn một số lượng lớn các đối tượng không chuyên về âm nhạc tham gia vào việc mô tả cảm xúc. Dữ liệu thực tế thường được định ra bằng cách lấy trung bình các ý kiến của tất cả các đối tượng. Thông thường một bài hát có hơn mười đối tượng mô tả.

1. Trích xuất đặc trưng

Một số đặc trưng âm nhạc được trích xuất từ tín hiệu âm nhạc để thể hiện các chiều cảm nhận khác nhau khi nghe nhạc, như giai điệu, âm sắc và nhịp điệu.

Sau khi rút trích đặc trưng, việc chuẩn hóa đặc trưng thường được áp dụng để tạo ra phạm vi so sánh của mỗi đặc trưng. Phương pháp chuẩn hóa phổ biến bao gồm chuẩn hóa theo đường thẳng đối với phạm vi [0, 1] của mỗi đặc trưng (chuẩn hóa tuyến tính) và chuẩn hóa mỗi đặc trưng đến trung bình 0 và độ lệch chuẩn đơn vị (chuẩn hóa z-score).

1. Mô hình huấn luyện

Sau khi có các nhãn dữ liệu thực tế và đặc trưng âm nhạc, bước tiếp theo sẽ là huấn luyện mô hình học máy để nghiên cứu mối quan hệ giữa cảm xúc và âm nhạc. Việc phân loại cảm xúc âm nhạc thường được tiến hành bằng các thuật toán phân loại được thiết lập sẵn, như thuật toán mạng neural (neural network), thuật toán k-láng giềng gần nhất (k-NN), thuật toán hợp lý cực đại (maximum likelihood), cây quyết định (decision tree) hoặc máy vectơ hỗ trợ (support vector machine).

• • 1. Phương pháp không gian

1. Khái niệm hóa cảm xúc theo không gian

Hình 1.4. Mặt phẳng cảm xúc valence – arousal 2D

1. Phương pháp hồi quy

• Lý thuyết hồi quy
• Xây dựng bài toán
• Thuật toán hồi quy
• Hồi quy tuyến tính đa biến
• Hồi quy vector hỗ trợ
• Cây hồi quy AdaBoost

1. Sơ đồ hệ thống hồi quy

Tiền xử lý

Hình 1.5. Sơ đồ hệ thống của phương pháp hồi quy

1. Thực hiện

• Thu thập dữ liệu

Các cơ sở dữ liệu âm nhạc được lựa chọn trong các album của một số nước phương Tây, Trung Quốc và Nhật Bản theo hai tiêu chí sau: (1) Cảm xúc của các bài hát này phải được phân bố đều trong bốn góc phần tư của mặt phẳng cảm xúc; và (2) mỗi bản nhạc nên có một cảm xúc chi phối nhất định.

Để so sánh các đoạn nhạc một cách công bằng, bản nhạc được chuyển đổi sang một định dạng thống nhất (22,050 Hz, 16 bits, và đơn kênh PCM WAV) và được chuẩn hóa đến mức âm lượng bằng nhau.

• Rút trích thuộc tính

Sau quá trình tiền xử lý, Chúng tôi sử dụng công cụ PsySound [2] và Marsyas [35] được sử dụng để rút trích các thuộc tính âm nhạc có thể xây dựng thành một không gian thuộc tính.

• Thử nghiệm chủ quan

Mục đích của các thử nghiệm chủ quan là để thu thập các dữ liệu quan sát thực tế của giá trị VA. Thử nghiệm chủ quan được trình bày trong đây có sự tham gia của 253 tình nguyện viên đến từ trường Đại học Quốc gia Đài Loan. Các tình nguyện viên được yêu cầu nghe 12 bản nhạc bất kỳ và ghi nhãn các giá trị VA từ -1.0 đến 1.0 theo 11 cấp độ thứ tự (được hiển thị dưới dạng một tập hợp các nút bấm radio). Các đối tượng được yêu cầu mô tả những cảm xúc cảm nhận được. Sau đó, các dữ liệu quan sát thực tế được thiết lập bằng cách tính trung bình ý kiến của tất cả các đối tượng. Tính trung bình, mỗi bản nhạc do ít nhất 10 đối tượng ghi nhãn.

• Huấn luyện mô hình hồi quy

Sau đó, 195 giá trị đầu vào (x_i, y_i) từ việc trích xuất đặc trưng và thử nghiệm chủ quan được sử dụng để huấn luyện mô hình hồi quy bằng cách sử dụng một trong các thuật toán trình bày ở trên: MLR, SVR hoặc AdaBoost.RT.

CHƯƠNG 2

MỐI QUAN HỆ GIỮA ĐẶC TÍNH ÂM NHẠC

VÀ NHẬN THỨC CẢM XÚC

CÁC ĐẶC TÍNH NĂNG LƯỢNG

Một số đặc tính liên quan đến năng lượng bao gồm công suất âm tần (AP), tổng âm lượng (TL), và hệ số xúc cảm âm lượng đặc biệt (SONE). AP chỉ đơn giản là công suất của tín hiệu âm thanh. Việc trích chọn TL và SONE được dựa trên các mô hình nhận thức thực hiện bằng toolbox MA. Phổ công suất cuối cùng, phản ánh tốt hơn cảm xúc âm lượng của con người, được gọi là quang siêu âm. SONE là các hệ số được tính từ quang siêu âm, trong đó bao gồm tới 24 băng tần tới hạn Bark (số lượng băng tần tới hạn thực tế phụ thuộc vào tần suất lấy mẫu của tín hiệu âm thanh). TL được tính là một tập hợp của SONE dựa trên phương pháp Stevens, trong đó lấy tổng các hệ số SONE lớn nhất và tỷ lệ 0,15 của tổng các hệ số còn lại. Theo mặc định, tất cả các đặc tính này được rút thành mỗi khung thời gian ngắn (23 ms, chồng chéo 50%) và sau đó được tổng hợp bằng cách lấy độ lệch trung bình và độ lệch chuẩn để tích hợp thời gian.

CÁC ĐẶC TÍNH NHỊP ĐIỆU

Nhịp điệu là biểu đồ các nhịp/ nốt có công suất khác nhau. Nó thường được mô tả về nhịp độ, nhịp nhạc, hay cách phân nhịp. Một bài hát với nhịp độ nhanh thường được coi là có arousal cao. Bên cạnh đó, nhịp lưu loát/ uyển chuyển thường được liên kết với valence dương, trong khi nhịp điệu cứng nhắc gắn với valence âm.

Chúng ta có thể sử dụng Marsyas (version 0.1) để tính toán các biểu đồ tần suất nhịp điệu của âm nhạc và từ đó tạo ra sáu đặc trưng, bao gồm cả công suất nhịp, biên độ và thời gian của các đỉnh đầu tiên và thứ hai của biểu đồ tần suất nhịp điệu, và tỷ lệ của cường độ của hai đỉnh tính theo bpm (nhịp mỗi phút). Các biểu đồ tần suất nhịp điệu được xây dựng bằng cách tính tự tương quan của đường bao tín hiệu trong mỗi băng tần số octa.

Cuối cùng, năm đặc tính nhịp điệu sau đây cũng đã được chứng minh có liên quan đến cả valence và arousal: cường độ nhịp điệu, tính quy tắc nhịp điệu, tính rõ nét nhịp điệu, tần số khởi động trung bình, và nhịp độ trung bình.

CÁC ĐẶC TÍNH THỜI GIAN

Các đặc tính thời gian bao gồm tỷ lệ biến thiên qua điểm không (zero-crossing rate), trọng tâm thời gian (temporal centroid), và thời gian thiết lập nhật ký (log attack time) để nắm bắt được chất lượng thời gian của âm nhạc.

Zero-crossing rate, một thước đo tính ồn của tín hiệu, được tính bằng cách lấy giá trị trung bình và độ lệch chuẩn của các số lượng giá trị tín hiệu khi qua trục không trong mỗi cửa sổ thời gian.

(2.1)

Trong đó:

T là chiều dài của cửa sổ thời gian

s_t là độ lớn của mẫu miền thời gian thứ t

và w (·) là một cửa sổ hình chữ nhật.

Trọng tâm thời gian chỉ đơn giản là thời gian trung bình trên đường bao năng lượng, trong khi thời gian thiết lập nhật ký là logarit của thời gian giữa thời gian các tín hiệu bắt đầu và thời gian các tín hiệu đạt giá trị năng lượng tối đa của nó.

LIÊN HỆ:

SĐT+ZALO: 0935568275

F:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\KHOA HOC MAY TINH\HUYNH THI HOANG CHI\SAU BAO VE