Loại bỏ hạt nước mưa trong hình ảnh video bằng giải thuật dựa trên tính tương quan về thời gian
Như chúng ta đã biết, con người luôn có nhu cầu thu thập thông tin bằng nhiều cách khác nhau: đọc báo, nghe đài, xem truyền hình, giao tiếp với người khác… Thông tin giúp làm tăng hiểu biết của con người, là nguồn gốc của nhận thức và là cơ sở của quyết định. Hình ảnh là một nguồn cung cấp thông tin tương đối phong phú và trực quan so với những nguồn thông tin khác. Do đó, việc xử lý hình ảnh sao cho thông tin thu được rõ ràng và chính xác nhất là một yêu cầu xuất phát thực tiễn.
Trong kỷ nguyên công nghệ thông tin hiện nay, với sự phát triển nhanh chóng của các công nghệ chế tạo, phần cứng ngày càng có nhiều tính năng mạnh hơn, nhỏ gọn hơn, rẻ hơn, tiêu thụ năng lượng thấp hơn thì ngành công nghệ phần mềm cũng không ngừng mở rộng để phù hợp với các yêu cầu của thực tế. Trong đó phải kể đến sự phát triển của các thiết bị thu nhận hình ảnh từ thế giới thực, chẳng hạn như các hệ thống giám sát bằng camera, hệ thống xử lý hình ảnh video song hành với nó là các vấn đề liên quan đến việc giám sát và xử lý hình ảnh. Thách thức chính cho công nghệ phần mềm trong lĩnh vực này chính là việc xử lý các hình ảnh thu nhận được từ các hệ thống giám sát đó
Giám sát là một vấn đề được rất nhiều nhà nghiên cứu quan tâm đặc biệt bởi những ứng dụng thiết thực của nó cho đời sống xã hội. Chẳng hạn như các hệ thống giám sát các hành vi khả nghi của tội phạm, khủng bố ở các địa điểm nhạy cảm của các chính phủ. Hệ thống giám sát trong các viện bảo tàng, lưu trữ để chống trộm cắp các di sản đang được trưng bày. Hệ thống giám sát các hiện tượng bất bình thường, vi phạm pháp luật, tai nạn ở các điểm giao thông. Hệ thống giám sát phòng chống hỏa hoạn. Các hệ thống giám sát trong các siêu thị, cửa hàng, công ty để chống trộm cắp,…
Thách thức chính cho ngành công nghệ phần mềm là đưa ra các giải pháp nhằm xây dựng một hệ thống giám sát tối ưu nhất nhằm giúp con người phát hiện chính xác và kịp thời các hiện tượng bất thường để có biện pháp xử lý nhanh chóng nhằm tránh các thiệt hại cho xã hội. Dữ liệu thu được từ hệ thống camera giám sát thường được lưu trữ dưới dạng video. Như vậy công việc hiện nay của chúng ta là nghiên cứu các vấn đề liên quan đến việc xử lý video.
Hiện nay trên thế giới đã có nhiều công trình nghiên cứu về xử lý video và đã có nhiều ứng dụng đáng kể trong lĩnh vực này. Tuy nhiên, so với yêu cầu thực tế thì như thế vẫn là chưa đủ. Ở Việt Nam, xử lý Video là một vấn đề còn khá mới mẻ. Thực tế cho thấy rằng, khi xã hội phát triển càng mạnh, yêu cầu về các thiết bị công nghệ càng cao. Như vậy, xử lý video là một mảnh đất màu mỡ cho các trung tâm nghiên cứu, các công ty đầu tư vào. Nhất là trong giai đoạn hệ thống nhúng đang phát triển và mở ra một kỷ nguyên với cho ngành công nghệ phần mềm như hiện nay.
Xử lý hình ảnh thu được từ video là một hướng mới và có nhiều triển vọng trong sự phát triển tiếp theo của lĩnh vực nhận dạng và xử lý ảnh 2 chiều. Đồng thời, đó cũng là một hướng đi cho mảng phần mềm thiết kế chuyên dụng cho các thiết bị giám sát tự động. Thực tế thì hiện nay các hệ thống giám sát trong nhà đã được nghiên cứu chuyên sâu. Tuy nhiên đối với các hệ thống giám sát ngoài trời, khi gặp điều kiện như mưa, tuyết, sương mù thì chất lượng hình ảnh thu vẫn bị ảnh hưởng rất nhiều. Nói cách khác, các hệ thống giám sát, theo dõi hiện nay chưa phù hợp để sử dụng trong môi trường thời tiết xấu, đặc biệt trong điều kiện thời tiết khí hậu của Việt Nam là khí hậu nhiệt đới gió mùa, mưa nhiều. Mưa làm cho hình ảnh trở nên lu mờ hoặc bị che khuất, cho nên những thuật toán xử lý ảnh trong nhà không thể trực tiếp đưa vào sử dụng cho những hình ảnh ngoài trời mà trước tiên phải đi loại bỏ các vệt mưa trong những hình ảnh này. Loại bỏ các vệt mưa trong video là một vấn đề thách thức do sự phân bố không gian ngẫu nhiên và chuyển động nhanh của mưa, hướng rơi giọt nước, khoảng cách giọt nước tới máy quay, màu sắc cảnh nền hay là sự xuất hiện của các đối tượng chuyển động trong video. Việc phát hiện ra các vệt mưa trong video nhờ các kỹ thuật xử lý ảnh, trên cơ sở đó loại bỏ chúng khỏi hình ảnh video là một việc làm có ý nghĩa khoa học và thực tiễn. Nhất là trong hoàn cảnh Việt Nam chưa có nhiều những nghiên cứu và ứng dụng theo hướng này
Xuất phát từ thực tế đó, việc nghiên cứu và đưa ra các phương pháp để xử lý video là vô cùng thiết thực. Được sự hướng dẫn của TS.Hà Đắc Bình, tôi đã mạnh dạn tiến hành nghiên cứu đề tài “Loại bỏ hạt nước mưa trong hình ảnh video bằng giải thuật dựa trên tính tương quan về thời gian”.
Trong khuôn khổ của luận văn này, mục tiêu của tôi là tìm hiểu các bước phát hiện, đánh dấu, phân loại các vệt mưa trong video và sau đó là loại bỏ chúng khỏi hình ảnh từ video. Sau khi nghiên cứu kỹ các phương pháp đã được đưa ra, tôi tiến hành đánh giá ưu và nhược của mỗi phương pháp và mạnh dạn đưa ra một giải thuật xóa vệt mưa dựa trên tính tương quan về thời gian.
3. Đối tượng và phạm vi nghiên cứu
Để đạt được các mục tiêu trên cần giải quyết các vấn đề sau:
– Nghiên cứu tổng quan về video và phát hiện, loại bỏ vệt mưa xuất hiện trong video:
– Nghiên cứu và đề xuất một hướng khắc phục các nhược điểm trong việc phát hiện và loại bỏ các vệt mưa và tạo kho cơ sở dữ liệu mẫu.
– Thiết lập một số phương pháp phát hiện, đánh dấu các vệt mưa dựa theo các phương pháp đã nêu ở trên.
Các nội dung nghiên cứu mà đề tài cần thực hiện bao gồm:
* Nội dung 1: Nghiên cứu tổng quan về video và phát hiện, loại bỏ vệt mưa xuất hiện trong video:
* Nội dung 2: Nghiên cứu về giải thuật sử dụng tính tương quan về thời gian.
* Nội dung 3: Thực nghiệm nội dung nghiên cứu với Demo
4.1. Phương pháp luận
Phương pháp nghiên cứu là những nguyên tắc và cách thức hoạt động khoa học nhằm đạt tới chân lý khách quan dựa trên cơ sở của sự chứng minh khoa học.
4.2. Phương pháp nghiên cứu
Các phương pháp sẽ thực hiện để đạt được mục tiêu nghiên cứu:
a. Phương pháp thu thập thông tin
b. Phương pháp so sánh
c. Phương pháp phân tích
d. Phương pháp chuyên gia
e. Phương pháp thực nghiệm
Dự kiến kết quả
– Tài liệu tổng quan về vấn đề xử lý loại bỏ vệt mưa từ Video.
– Đề xuất giải thuật và xây dựng thành công chương trình nhận dạng và xử lý vệt mưa từ Video .
* Ý nghĩa khoa học và thực tiễn của Luận văn
Kết quả nghiên cứu có thể làm tài liệu tham khảo các các cơ sở đang tiến tới việc áp dụng phần mềm để xử lý vệt mưa trong video. Đồng thời nó cũng là một tài liệu cho các nhà nghiên cứu và những ai mong muốn tìm hiểu về đề tài này.
5. Bố cục luận văn: Luận văn được tổ chức thành 3 chương
Chương 1: Một số vấn đề cơ bản trong xử lý Video.
Chương 2: Giải thuật phát hiện và loại bỏ đối tượng vệt mưa trong hình ảnh Video.
Chương 3: Thuật toán đề xuất và kết quả thực nghiệm.
CHƯƠNG 1
TỔNG QUAN VỀ XỬ LÝ VIDEO VÀ PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG
1.1. Tổng quan về xử lý ảnh số
1.1.1. Xử lý ảnh số là gì?
Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó.
1.1.2. Nguồn gốc của xử lý ảnh số
1.1.3. Các ứng dụng của xử lý ảnh số
1.1.4. Các thành phần của một hệ thống xử lý ảnh
1.2. Tổng quan về Video
1.2.1. Sơ lược về Video
Video là sự tái tạo ảnh tự nhiên theo không gian và thời gian hoặc cả hai, thực chất là một dãy ảnh liên tục theo thời gian nhằm mô phỏng sự chuyển động. Việc dùng ảnh liên tục để mô tả chuyển động theo thời gian đã xuất hiện gần 2 thế kỉ nay. Năm 1834 nhà toán học William George Horner đa phát minh ra cách mô tả này. Sau đó, hàng loạt các nghiên cứu khác được triển khai và đã có những ứng dụng đáng kể. Năm 1887, khi Hannubal Good phát minh ra phim ảnh thì vấn đề ảnh chuyển động được quan tâm đặc biệt vì những lợi ích kinh tế mà nó mang lại. Năm 1895, một hệ thống camera/Projector với các chuẩn phim (35mm chiều rộng, 24 khung hình trên giây) được phát triển bởi Louis Lumiére. Thiết bị này có tên là Cinématographe.
1.2.2. Các dạng Video
1.2.2.1. Video tương tự
1.2.3. Các chuẩn video
1.3. Một số vấn đề cơ bản trong xử lý video
1.3.1. Phát hiện đối tượng chuyển động trong Video
Phát hiện đối tượng
Phân loại đối tượng
Đánh dấu đối tượng
Thừa nhận hành vi
Mô tả ngữ nghĩa
Hình 1.5: Một framework chung chung về các thuật toán xử lý video thông minh
1.3.1.1. Phép trừ nền
Phép trừ nền là một phần trong công nghệ phân đoạn chuyển động trong các cảnh tĩnh. Nó cố gắng phát hiện các vùng chuyển động bằng cách trừ điểm ảnh cho điểm ảnh từ ảnh hiện thời đến một ảnh nền cơ sở đã được tạo bởi trung bình các ảnh nền trong một khoảng thời gian của một chu kỳ khởi tạo. Những ảnh mà ở đó có sự khác biệt sau khi thực hiện trừ nền ở trên bước đầu được phân loại bằng sự nổi trội. Sau khi tạo một bản đồ các điểm nổi trội, một số phép toán hậu xử lý như: phép co, dãn, đóng khung được thực hiện để đơn giản hóa các tác động của nhiễu và làm tăng vùng phát hiện. Nền cơ sở được cập nhật với các ảnh mới theo thời gian để thích ứng với sự thay đổi của các cảnh động.
1.3.1.2. Các phương pháp tĩnh
1.3.1.3. Sự khác biệt theo thời gian
1.3.1.4. Optical Flow
1.3.1.5. Phát hiện sự thay đổi ánh sáng và bóng
1.3.2. Phân loại đối tượng trong video
Vùng chuyển động được phát hiện trong video có thể tương ứng với các đối tượng khác nhau trong thế giới thực như người, nhóm người, xe cộ, sự hỗn loạn,… Việc thừa nhận kiểu của đối tượng là rất quan trọng để thừa nhận kiểu của đối tượng được phát hiện để đánh dấu nó một cách chính xác và phân tích các hoạt động một cách đúng đắn. Hiện nay, có hai hướng tiếp cận trong việc phân loại các đối tượng, đó là các phương pháp shape-base và motion – base (dựa theo hình dạng và dựa theo chuyển động). Phương pháp Shape – base thường dùng cho các đối tượng trong không gian hai chiều 2D còn phương pháp motion – base dùng để lần theo các dấu vết đặc trưng theo thời gian của các đối tượng cho giải pháp phân loại.
1.3.2.1. Phân loại dựa theo hình dạng
1.3.2.2. Phân loại dựa theo chuyển động
1.3.3. Phát hiện ánh sáng
1.3.4. Đánh dấu đối tượng
1.3.5. Kỹ thuật phát hiện biên
1.3.5.1. Kỹ thuật Prewitt
1.3.5.2. Kỹ thuật Sobel
1.3.5.3. Kỹ thuật la bàn
1.4. Kết luận Chương 1
Trong chương một, tôi đã tìm hiểu về lý thuyết tổng quan về xử lý Video. Trong đó tôi đưa ra được những sơ lược tổng quan về Video, các dạng Video khác nhau, các chuẩn Video. Ngoài ra tôi giới thiệu được những vấn đề cơ bản trong xử lý Video như phát hiện đối tượng chuyển động trong Video, đánh dấu đối tượng chuyển động để phục vụ cho việc phát hiện và loại bỏ vệt mưa.
CHƯƠNG 2
MỘT SỐ GIẢI THUẬT PHÁT HIỆN VÀ LOẠI BỎ ĐỐI TƯỢNG HẠT MƯA TRONG HÌNH ẢNH VIDEO
2.1. Các thuộc tính của vệt mưa
2.1.1. Thuộc tính cường độ
Thông thường, vệt mưa trải dài trên một số hàng chục điểm ảnh trong một khung. Do tốc độ của giọt mưa, cùng một vệt mưa không xuất hiện trong hai khung hình liên tiếp. Hơn nữa, do việc phân bố ngẫu nhiên của các giọt mưa, một điểm ảnh không phải lúc nào cũng được bao phủ bởi mưa trong suốt toàn bộ video. Vì vậy, trong một đoạn video đứng yên được thực hiện bởi một máy quay cũng đứng yên, biểu đồ cường độ của một điểm ảnh mà đôi khi được bao phủ bởi hai đỉnh, một phân bố cường độ nền và một đỉnh cho sự phân bố cường độ mưa. Mặt khác, biểu đồ cường độ của một điểm ảnh đó không bao giờ được bao phủ bởi mưa trong suốt toàn bộ video.
Hình 2.1: Thuộc tính cường độ của mưa
2.1.2. Thuộc tính màu sắc
Một giọt mưa hình cầu khúc xạ một phạm vi rộng của ánh sáng. Vì vậy, hình chiếu của giọt mưa trong hình ảnh sáng hơn nhiều so với bản chất của nó. Các nghiên cứu cho thấy sự gia tăng cường độ của kênh R, G, B là phụ thuộc vào cảnh nền. Bởi vì sự khác biệt về bước sóng, ánh sáng màu xanh có chỉ số khúc xạ lớn hơn ánh sáng màu đỏ. Vì vậy, một giọt mưa sẽ khúc xạ làm xanh hơn ánh sáng đến từ phía sau. Hơn nữa, lượng thay đổi của kênh R, G, B, tức là ΔR, ΔG, và ΔB, liên quan đến cường độ thực tế của kênh R, G, và B.
2.2. Các giải thuật phát hiện và loại bỏ vệt mưa trong Video
2.2.1. Giải thuật khai thác sự tương quan về thời gian
Giải thuật phát hiện vệt mưa của hai tác giả Kshitiz Garg và Shree K. Nayar dựa trên mô hình trắc quang (Photometric) và mô hình chuyển động (dynamics)
Kết quả: Tác giả đã tiến hành thử nghiệm trên một số đoạn video với mưa để chứng minh tính hiệu quả của các thuật toán. Trong tất cả các thí nghiệm, tác giả đã chọn ngưỡng trắc quang c = 3 và tương quan không gian thời gian đã được tính toán bằng cách sử dụng vùng điểm ảnh(11 × 11) trên f = 30 khung hình. ( xem hình 2.3) Các phân khúc mưa có một độ trễ thời gian kể từ khi 30 khung hình đã được sử dụng để tính toán tương quan thời gian. Mặc dù phức tạp, thuật toán của tác giả vẫn chỉ phát hiện điểm ảnh với mưa. Lưu ý rằng không thể phát hiện mưa tại các điểm ảnh với một nền sáng (bức tường màu trắng) bởi vì những thay đổi trong cường độ mưa rất thấp.
2.2.2. Giải thuật sử dụng thuộc tính về màu sắc
Một giải thuật phát hiện vệt mưa dựa trên việc kết hợp cả hai tính chất tạm thời và màu sắc của mưa trong video được trình bày trong Công trình Rain removal in video by combining temporal and chromatic properties (Loại bỏ mưa trong video bằng các tính chất tạm thời và màu sắc) của nhóm tác giả: Xiaopeng Zhang, Hao Li, Yingyi Qi, Wee Kheng Leow, Teck Khim Ng công bố năm 2006. [2].
2.2.3. Giải thuật sử dụng các loại biểu đồ
Các giải thuộc theo hướng này thường xử dụng biểu đồ tấn suất không gian và thời gian, biểu đồ đường cong đăng ký. Các tác giả tiến hành đo đạc lượng mưa xuất hiện trên các điểm ảnh của Video và ghi lại vào các biểu đồ cụ thể. Sau đó từ các biểu đồ, các tác giả sẽ phân tích những điểm ảnh nào có mưa vào thời gian cụ thể, những điểm ảnh nào không có mưa (nền).Việc loại bỏ mưa trong Video tương tự các hướng đi trên là thay thế điểm ảnh có mưa bằng điểm nền.
2.2.4. Giải thuật sử dụng việc điều chỉnh các thông số của máy quay
Đây là một hướng nghiên cứu dựa trên các thông số của máy ảnh như thời gian phơi sáng, khẩu độ. Khi thay đổi các thông số này, video thu đươc sẽ chứa lượng mưa ít hay nhiều hoặc có thể loại bỏ luôn mưa trong video. Công trình tiêu biểu có thể kế đến là công trình của nhóm tác giá: Kshitiz Garg và Shree K.Nayar [6].
2.2.5. Giải thuật sử dụng đơn khung và từ điển học tập
Việc sử dụng một ảnh duy nhất để phát hiện và loại bỏ vệt mưa là một cách tiếp cận tương đối mới mẻ [4]. Công trình Single-Frame-Based Rain Removal via Image Decomposition (Loại bỏ mưa trong khung đơn thông qua việc phân tích hình ảnh) của nhóm tác giả: Yu-Hsiang Fu1, Li-Wei Kang2, Chia-Wen Lin1*, Chiou-Ting Hsu3 công bố năm 2011.
Kết quả: Chương trình sử dụng thuật toán xử lý song song này cho ta hình ảnh kết quả tương đối nhanh so với các chương trình sử dụng thuật toán khác. Các hạt mưa trong video đã được loại bỏ gần như hoàn toàn, hình ảnh gốc không bị ảnh hưởng. Các chi tiết bị mưa che khuất được phục hồi tương đối toàn diện.
2.3. Phân tích giải thuật dựa trên tính tương quan về thời gian
2.3.1. Cơ sở thuật toán
Chuyển động của giọt mưa có thể được đại diện bởi một trường nhị phân
b(r, t) = 1 nếu giọt nước rơi vào địa điểm r trong thời gian t.
= 0 nếu rơi vào địa điểm khác.
Hàm tương quan Rb (r1, t1; r2, t2) chỉ phụ thuộc vào sự khác biệt trong tọa độ hình ảnh (Δ r = r1 – r2) và sự khác biệt trong thời gian (Δt = t1 – t2).
Một ràng buộc quan trọng phát sinh do sự chuyển động theo đường thẳng của các hạt. Hãy xem xét hạt được thả với với vận tốc ban đầu vi. Sau một thời gian Δt, sự dịch chuyển là viΔt. Do đó, các trường nhị phân tại thời điểm t và t + Δt có liên quan như sau: b(r +viΔt, t+Δt) = b(r, t)
Do đó ta viết lại: Rb(r, t; r +viΔt, t+Δt) = Rb(viΔt,Δt)
Mối quan hệ giữa cường độ ánh sáng giọt nước ΔI so với cường độ ánh sáng nền Ibg
là khoảng thời gian giọt nước vẫn ở trong điểm ảnh.
là độ dốc tuyến tính, dốc β được hiển thị để nằm trong khoảng 0 <β <0,039.
2.3.2. Phát hiện vệt mưa trên hình ảnh video
a. Áp dụng sự tương phản của mô hình quang học.
b. Áp dụng độ tương phản của mô hình chuyển động
2.3.3. Loại bỏ vệt mưa dựa trên tính tương quan về thời gian
Đối với mỗi điểm ảnh, có mưa vào khung thứ n, ta thay thế cường độ của nó với một ước tính của nền thu được là (In−1 + In+1)/2.
2.4. Đánh giá chung
2.4.1. Phân loại
Có thể thấy, rất nhiều thuật toán cho việc phát hiện và loại bỏ mưa trong video đã được đề xuất từ trước đến nay. Tuy nhiên, chúng ta có thể phân loại các thuật toán thành các hướng cơ bản như sau:
a. Hướng sử dụng mô hình trắc quang
b. Hướng sử dụng các tính chất của màu sắc trong video
c. Hướng sử dụng các loại biểu đồ
d. Hướng điều chỉnh các thông số của máy quay để xử lý video trực tiếp
e. Hướng nghiên cứu sử dụng từ điển học tập
2.4.2. Những khó khăn trong quá trình nghiên cứu vấn đề này
Qua những kết quả đạt được như trên, chúng ta có thể thấy được rằng hiện nay chưa có phương pháp nào là tối ưu để giải quyết vấn đề loại bỏ mưa trong video trong thời gian thực.
2.5. Kết luận Chương 2
Trong chương hai, tôi đã tìm hiểu về các giải thuật phát hiện, đánh dấu, phân loại, loại bỏ vệt mưa trong hình ảnh Video. Những giải thuật này là những công trình nghiên cứu của thế giới về vấn đề xử lý và loại bỏ vệt mưa khỏi video. Quan trọng hơn, tôi đã nghiên cứu giải thuật loại bỏ vệt mưa dựa trên tính tương quan về mặt thời gian. Việc nghiên cứu cơ chế hoạt động của các phương thức trong chương 2 đã giúp tôi hiểu rõ bản chất của các phương thức để thực hiện tốt mô phỏng và đánh giá trong chương 3.
CHƯƠNG 3
GIẢI THUẬT LOẠI BỎ HẠT NƯỚC MƯA TRONG VIDEO DỰA TRÊN SỰ TƯƠNG QUAN VỀ THỜI GIAN VÀ
KẾT QUẢ THỰC NGHIỆM
3.1. Công cụ sử dụng để thực nghiệm
3.1.1.Ngôn ngữ sử dụng
3.1.2. Công cụ tạo Video thực nghiệm
Video được sử dụng làm thực nghiệm là các đoạn Video có định dạng YUV 421. Nguồn gốc các đoạn Video này:
* Sưu tầm từ các công trình trước đây [6].
* Tự quay với máy quay Canon 60D, ống kính 18 – 135mm. Sử dụng chân máy để chống rung cho cảnh. Video được quay vào thời điểm trời mưa. Camera đứng yên trên chân máy. Video chứa đối tượng chuyển động.
3.1.3. Thiết bị dùng để chạy phần mềm
3.2. Các giải thuật sử dụng để giải quyết bài toán
3.2.1. Phân tích yêu cầu
* Input: Một đoạn Video chứa vệt mưa cùng các đối tượng chuyển động.
* Output: Một đoạn Video chứa các đối tượng chuyển động, trong đó vệt mưa đã được loại bỏ khỏi video.
* Phân tích:
– Đối với các video chỉ chứa vệt mưa mà không chứa đối tượng chuyển động, thuật toán trở nên đơn giản hơn rất nhiều. Chúng ta chỉ cần tìm nền của Video, sau đó tiến hành cập nhật ảnh nền. Sau đó chúng ta lấy video gốc trừ đi ảnh chúng ta sẽ có được video không chứa đối tượng vệt mưa.
– Tuy nhiên thực tế hình ảnh video ngoài vệt mưa, còn chứa các đối tượng chuyển động khác nhau, đồng thời cảnh nền cũng có sự thay đổi. Điều này gây khó khăn thật sự trong việc phân biệt được đâu là đối tượng chuyển động, đâu là nền.
3.2.2. Sơ lược về các giải thuật sử dụng
a. Giải thuật trừ nền [19]
Input: ảnh nền B, ảnh hiện tại I và ma trận ngưỡng T
Output: ảnh M là mặt nạ chuyển động
b. Giải thuật cập nhật ảnh nền [19]
Input: nền B, ảnh hiện tại I và mặt nạ chuyển động M
Output: nền B được cập nhật lại
c. Giải thuật trích các đối tượng chuyển động
Input: Ảnh tiền ảnh E và ảnh nền B, ảnh nhị phân O2, ngưỡng T2.
Output: Đối tượng chuyển động trong video S.
d. Giải thuật loại bỏ vệt mưa khỏi Video chứa đối tượng chuyển động
Input: Ảnh tiền ảnh E và ảnh nền B, cửa sổ lọc K, ảnh đối tượng chuyển động S, các điểm ảnh I thuộc biên của cửa sổ lọc K
Output: Video V với vệt mưa được loại bỏ
e. Giải thuật ghép nền vào ảnh chuyển động
Input: Ảnh nền B, ảnh tiền cảnh E, ảnh đã loại bỏ mưa V.
Output: Video hoàn chỉnh H
Nhận xét: Giải thuật (d) là giải thuật tương đối mới mẻ, sử dụng cửa sổ lọc K để lọc nhiễu cũng như hạt mưa trong video chứa đối tượng chuyển động.
Ưu điểm:
– Loại bỏ được các vệt mưa lớn, nhỏ tùy vào độ rộng của cửa sổ lọc K do chúng ta lựa chọn.
– Tương đối đơn giản, dể sử dụng.
– Kết quả mang lại có tính chính xác cao.
Nhược điểm:
– Khi chọn kích thước cửa sổ K lớn, máy tính phải xử lý nhiều gây nên độ trễ lớn của thuật toán.
– Với các đối tượng chuyển động như vệt mưa thì giải thuật có thể xóa nhầm.
3.2.3. Lưu đồ thuật toán
Thu nhận ảnh
Tiền xử lý
Ảnh tiền cảnh (FG)
Ảnh nền (BG)
Trích các đối tượng chuyển động
Loại bỏ vệt mưa khỏi hình ảnh thu được
Ghép nền vào ảnh chuyển động
Hiển thị kết quả
cuối cùng
Hình 3.3: Lưu đồ thuật toán loại bỏ vệt mưa
3.3. Cài đặt chương trình
3.3.1. Thiết kế giao diện chương trình
3.3.2. Xây dựng các chức năng chính
3.3.2. Các bước thực hiện yêu cầu
* Bước 1: Khởi tạo ảnh nền
Ảnh xử lý gồm 2 phần: ảnh nền và ảnh tiền cảnh. Trong các nguồn dữ liệu video giám sát, ảnh nền không chứa các thành phần chuyển động, ảnh tiền cảnh chỉ chứa các đối tượng chuyển động trong đó có cả vệt mưa. Ảnh tiền cảnh nhận được bằng phương pháp trừ nền, lấy ảnh gốc trừ cho ảnh nền. Giải thuật được mô tả như sau:
Có nhiều phương pháp để khởi tạo ảnh nền, ở đây tôi sử dụng phương pháp tạo nền theo phương pháp thống kê xác suất xuất hiện của mỗi điểm ảnh trong bài báo [8]. Để tạo ra ảnh nền, hệ thống xử lý N khung hình đầu tiên. Giải thuật được mô tả như sau:
Trong đó: tương ứng là giá trị điểm ảnh có tọa độ (i, j) của khung thứ t-1, t, t+1.
T0 > 0: Mức ngưỡng khởi tạo, chúng tôi chọn T0 = 25.
Kết quả tạo nền như hình 3.5, 3.6, 3.7:
a) Ảnh gốc b) Ảnh nền được tạo
Hình 3.5: Kết quả tạo ảnh nền Video 1
a) Ảnh gốc b) Ảnh nền được tạo
Hình 3.6: Kết quả tạo ảnh nền Video 2
a) Ảnh gốc b) Ảnh nền được tạo
Hình 3.7: Kết quả tạo ảnh nền Video 3
* Bước 2: Cập nhật ảnh nền
Để tăng độ chính xác khi xử lý của hệ thống, ảnh nền tham chiếu này phải trùng khớp với ảnh nền hiện tại. Tuy nhiên trong thực tế, do ảnh hưởng của nhiều yếu tố như ánh sáng, thời tiết hay có vật chuyển động đi vào nền làm cho ảnh nền tham chiếu không đồng nhất với ảnh nền hiện tại. Do đó, vấn đề đặt ra là cần phải cập nhật ảnh nền tham chiếu để giảm sai số tính toán trong quá trình phân vùng tiền cảnh.
Để cập nhật ảnh nền, chương trình sử dụng mảng 2 chiều để tính điểm cập nhật nền và điểm tích lũy nền. Nếu 
thì tăng lên 1, ngược lại bằng 0. Nếu điểm này lớn hơn giá trị ngưỡng thì xem xét cập nhật lại ảnh nền. Khi đó sẽ được tính ở các khung tiếp theo.
Nếu thì giảm 1, khi giảm về 0 thì SNi,j cũng giảm về 0
Nếu thì tăng 1, giá trị ảnh nền cập nhật được tính như theo công thức:
* Bước 3: Tách các đối tượng chuyển động ra khỏi hình nền.
Dùng toán tử Sobel, tiến hành kiểm tra biên ảnh tiền cảnh được Et và ảnh nền được Bt. Dựa vào ảnh IBt = Et – Bt. Ta đặt một ngưỡng thứ 2 là T2 thể hiện mức độ khác biệt giữa Et và Bt. Tiến hành so sánh, nếu IBt >= T2, ta đánh dấu vùng chuyển động trên ảnh tiền cảnh. Lúc này ta có được ảnh nhị phân chứa các chuyển động trong ảnh là .
Dựa vào ảnh nhị phân này, ta thay thế các vùng được đánh dấu bằng các ảnh trên ảnh tiền cảnh Et.. Kết quả thu được là ảnh St như hình 3.8, 3.9, 3.10:
Hình 3.8: Ảnh St chứa đối tượng chuyển động Video 1
Hình 3.9: Ảnh St chứa đối tượng chuyển động Video 2
Hình 3.10: Ảnh St chứa đối tượng chuyển động Video 3
* Bước 4: Loại bỏ vệt mưa khỏi đối tượng chuyển động.
Từ ảnh St thu được tại bước 3, chúng ta sẽ sử dụng dụng phương pháp lọc hạt mưa dựa trên cửa sổ lọc diện tích đối tượng. Cửa sổ lọc (ký hiệu K) ở đây có diện tích n*n do chúng ta thiết lập. Sử dụng cửa sổ lọc để quét qua lần lượt các điểm ảnh của ảnh thu được. Ta sử dụng các điểm ảnh nằm ở biên của cửa sổ lọc K để xét. Có 2 trường hợp xảy ra:
* Trường hợp 1: Một trong các điểm ảnh được xét chứa đối tượng chuyển động. Hay nói cách khác các điểm ảnh đó thuộc St. Trường hợp này ta tiếp tục quét qua các vùng xét tiếp theo.
* Trường hợp 2: Toàn bộ các điểm ảnh được xét đó không chứa đối tượng chuyển động. Lúc này trong cửa sổ lọc K có thể chứa đối tượng chuyển động nằm gọn trong diện tích xét, hoặc không chứa đối tượng chuyển động nào. Lúc này ta loại toàn bộ vùng xét ra khỏi ảnh St chứa đối tượng chuyển động.Thu được ảnh Vt như hình 3.11, 3.12, 3.13.
Hình 3.11: Ảnh kết quả sau loại bỏ vệt mưa Video 1
Hình 3.12: Ảnh kết quả sau loại bỏ vệt mưa Video 2
Hình 3.13: Ảnh kết quả sau loại bỏ vệt mưa Video 3
* Bước 5: Ghép nền vào ảnh chuyển động.
Lần lượt xét từng điểm ảnh.
* Nếu điểm ảnh thuộc Vt, ta giữa nguyên.
* Nếu điểm ảnh không thuộc Vt, ta gán điểm ảnh đó = điểm ảnh nền Bt.
Kết quả thu được như hình 3.14, 3.15, 3.16.
Hình 3.14: Kết quả sau ghép ảnh nền Video 1
Hình 3.15: Kết quả sau ghép ảnh nền Video 2
Hình 3.16: Kết quả sau ghép ảnh nền Video 3
3.4. Kết quả thu được và thảo luận
Tôi thực hiện phương pháp đề xuất trên Laptop Acer aspire 4745G, Intel Core i5-450M processor. Sử dụng ngôn ngữ C++ để viết chương trình thử nghiệm với 3 đoạn video, mỗi đoạn chứa tầm 130 khung, định dạng YUV. Kết quả như hình 6.
Ngoài ra tôi đánh giá hiệu quả phương pháp bằng cách so sánh với phương pháp [1] và nhận thấy rằng: Phương pháp đề xuất ngoài khả năng tạo nền, xóa vệt mưa khỏi video thì còn có khả năng loại bỏ vệt mưa trong trường hợp có đối tượng chuyển động trong video. Ngoài ra tôi còn đề xuất một phương pháp tương đối mới đó là dựa vào thuộc tính kích thước đối tượng chuyển động để loại bỏ các đối tượng không cần thiết trong video nhưng vẫn giữ được chất lượng của video.
* Một số kết quả thu được trong quá trình thực hiện:
(a) Hình đã xử lý b) Hình gốc
Hình 3.17: Kết quả với đối tượng chuyển động chậm
(a) Hình đã xử lý (b) Hình gốc
Hình 3.18: Kết quả đối với đối tượng chuyển động tham gia giao thông
(a) Hình đã xử lý (b) Hình gốc
Hình 3.19: Kết quả với cảnh mưa nặng hạt và lá cây chuyển động
(a) Hình đã xử lý (b) Hình gốc
Hình 3.20: Kết quả với đối tượng đi sát và máy quay
Kết quả thu được là vệt mưa được loại bỏ tương đối chính xác, các đối tượng chuyển động trong Video được giữ lại gần như nguyên vẹn. Tuy nhiên việc xử lý Video còn tương đối chậm khi chúng ta chọn cửa sổ lọc có diện tích lớn. Ngoài ra đối với những hạt mưa rơi sát màn hình sẽ có diện tích tương đối lớn, gây khó khăn trong việc loại bỏ.
3.5. Kết luận Chương 3
Trong phần này, tôi trình bày một phương pháp chủ yếu là phát hiện và loại bỏ vệt mưa dựa trên hình dạng và kích thước. Phương pháp này dựa trên đặc tính của đối tượng chuyển động. Kết quả cho thấy phương pháp này đã loại bỏ được hầu hết các vệt mưa trong các video mà tôi có với kết quả tương đối tốt.
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
Kết quả đạt được
Trong phạm vi luận văn này, tôi đã đạt được một số kết quả như sau:
- Nắm được lý thuyết về video và xử lý video
- Nắm được tổng quan về các phương pháp và kết quả trích và xóa vệt mưa.
- Phân tích và đánh giá các phương pháp trước đó và đề xuất một phương pháp có khả năng xóa, loại bỏ vệt một cách hiệu quả với những video có được dựa trên tính tương quan về mặt thời gian của vệt mưa cũng như thuộc tính thời gian và kích thước của nó.
- Đề xuất một phương pháp phát hiện và loại bỏ đối tượng vệt mưa và chuyển động dựa trên tự tương quan về mặt thời gian và hình dạng, kích thước đối tượng. Hệ thống đầu vào trong bản demo này là lấy hình ảnh những file video có phần đặc trưng là YUV.
- Kết quả thu được và loại bỏ tương đối chính xác các vệt mưa trong video chứa vệt mưa và các đối tượng chuyển động.
Hướng phát triển
Hướng phát triển của đề tài trong thời gian tới.
- Thứ nhất là thực hiện xử lý trong điều kiện thời gian thực. Yêu cầu này tương đối thiết thực bởi vì ngày nay mức độ đòi hỏi của người sử dụng ngày càng cao.
- Thứ hai là có thể loại bỏ được các vệt mưa rơi sát màn hình, kích thước lớn mà không làm ảnh hưởng tới kết quả.
- Thứ ba là xử lý video có camera chuyển động. Ngoài ra thì việc xử lý các đối tượng có kích thích nhỏ tương đương hạt mưa cũng cần được nghiên cứu.
Hướng nghiên cứu sâu hơn của đề tài này mà tôi quan tâm đó là phát hiện và phân loại từng phần chuyển động của đối tượng, từ đó xây dựng các ứng dụng hỗ trợ cho con người. Một hướng khác nữa là tìm hiểu rõ về đặc điểm của vệt mưa, từ đó xây dựng các hệ thống cảnh báo khi trời mưa, các hệ thống camera giám sát ngoài trời, hệ thống giám sát giao thông, sân bay…
E:\DỮ LIỆU COP CỦA CHỊ YẾN\DAI HOC DA NANG\LUAN VAN KY THUAT\LUAN VAN 2014\TRAN ANH TIEN\TRAN ANH TIEN
