智慧型系統在車輛上的發展相當的多元，而其中一個重要的目的就是安全駕駛。它是人們一直追求的目標之一，本研究也為了此目的希望可以在雨天中輔助駕駛者進行駕駛。而雨天環境中當雨勢還小時，車前影像容易受到擋風玻璃上的雨滴和雨痕等所影響；當雨勢變大時勢必得啟用雨刷，而雨刷的擺動就會開始影響駕駛者的車前視線。
由於雨刷的擺動不只會不時的擋住駕駛者視線，更可能會因為其持續的擺動造成駕駛者的視覺疲勞進而影響駕駛者的判斷，所以本文著重於雨刷的抓取、消除並做影像還原。本文分別採取了光流法和連續影像相減法進行演算，並且對於雨刷擺動至兩端時由於擺動幅度太小導致演算效果差而進行了修正，並提供了採取三張圖片進行簡易影像還原的方法。
最後分別對於兩種演算法之演算結果進行了抓取率和影像還原之分析比較。抓取率是利用自行拍攝影片透過背景相減法與兩方法進行計算，而影像還原部分則是透過特定影像進行影像還原後之分析比較。經由比較後得知在大部分時刻連續影像相減法處理效果和效率都優於光流法。

A lot of developments of intelligent systems on the vehicles are growing these days. One of the most important purposes is for driving safety, which has been one of the goals that people have been always pursuing. This thesis aims at assisting drivers to drive in rainy days using the techniques of image processing. When it rains a little, raindrops and rain streaks can distort the image on the vehicle’s windshield; however, when it rains heavily, the wiper system will be turned on and swing of the wiper inevitably interferes the driver’s sight.
Swing of the wiper not only blocks the driver’s sight periodically, but also continuously swinging wipers may bring about fatigue of the driver’s eyes and affect decision making of the driver. Therefore, this research focuses on wiper acquisition, wiper elimination and image recovery. In this thesis, the approaches of optical flow and temporal difference are applied. Poor results at both ends due to slow swing speed are amended. A simple algorithm for image recovery using three images is also developed for the purpose of efficiency in real-time implementation.
Finally, the acquisition rate and the performance of image recovery using those two approaches are analyzed and compared. The acquisition rate is obtained using the method of background subtraction and those two approaches based on designed experimental videos. The performance of image recovery is calculated according to specific images. Experimental results clearly show that the temporal difference approach is better than optical flow method in most cases.

目錄
論文審定書 i
摘要 ii
Abstract iii
目錄 iv
圖次 vi
表次 viii
第一章　緒論 1
1.1 研究動機與目的 1
1.2 文獻回顧 3
1.3 論文架構 4
第二章　影像處理 5
2.1 影像處理基本工具 5
2.1.1 RGB色彩空間與灰階影像 5
2.1.2 二值化、邊緣檢測與標籤 6
2.1.3 膨脹與侵蝕 9
2.1.4 開運算與閉運算 11
2.2 影像處理用於追蹤移動物體常見方法 13
2.2.1 背景相減法 13
2.2.2 連續影像相減法 15
2.2.3 光流法 16
2.3 影像處理遭遇問題 19
第三章 實驗架構與過程 21
3.1 光流法之雨刷抓取、消除和影像還原 22
3.2 連續影像相減法之雨刷抓取、消除和影像還原 34
第四章　實驗結果分析比較 42
4.1 抓取率之數據分析比較 42
4.2 影像還原之特定影像分析比較 48
第五章　結論與未來展望 53
5.1 結論 53
5.2 未來展望 55
參考文獻 56


圖目錄
圖1-1 行車記錄器所拍攝之擷圖 2
圖1-2 經由影像處理想提供給駕駛者之影像 2
圖2-1 RGB與Gray Level色彩模型 6
圖2-2 二值化示意圖 6
圖2-3 邊緣化示意圖 7
圖2-4 膨脹示意圖 10
圖2-5 侵蝕示意圖 10
圖2-6 開運算示意圖 11
圖2-7 閉運算示意圖 12
圖2-8 背景影像與監視影像 13
圖2-9 監視影像經由背景相減法處理 14
圖2-10 （a）和（b）為兩個連續的影像 15
圖2-11 （a）和（b）經由連續影像相減法處理 15
圖2-12 影像流之幾何示意圖 16
圖2-13 連續的兩張影像 18
圖2-14 經由光流演算示意圖 18
圖2-15 雨刷擺動示意圖 19
圖2-16 模糊雨刷示意圖 19
圖2-17 擺動到兩端速度過慢示意圖 20
圖2-18 雨刷與周圍反差小示意圖 20
圖3-1 光流法之影像處理流程圖 22
圖3-2 為利用兩張圖片作影像還原時雨刷殘影示意圖 23
圖3-3 為利用三張圖片作影像還原 24
圖3-4 影片中連續兩個時刻之微小變動示意圖 25
圖3-5 從影片擷取連續四個時段之圖 25
圖3-6 從影片連續擷取四個時刻之灰階圖 26
圖3-7 所有光流值大於0之示意圖 27
圖3-8 光流值大於門檻值之示意圖 27
圖3-9 篩選過後剩餘光流值之示意圖 28
圖3-10 剩餘光流擴大抓取示意圖 29
圖3-11 將抓到區塊獨立出來示意圖 29
圖3-12 經由閉運算示意圖 29
圖3-13 去除雨刷示意圖 31
圖3-14 影像還原示意圖 31
圖3-15 擴大影像還原示意圖 31
圖3-16 其他應用實例（1） 32
圖3-17 其他應用實例（2） 33
圖3-18 連續影像相減法之影像處理流程圖 34
圖3-19 影像相減示意圖 36
圖3-20 影像相減後將雨刷獨立示意圖 36
圖3-21 經由開運算處理示意圖 37
圖3-22 去除雨刷示意圖 38
圖3-23 影像還原示意圖 39
圖3-24 擴大影像還原示意圖 39
圖3-25 其他應用實例（1） 40
圖3-26 其他應用實例（2） 41
圖4-1 背景影像示意圖 43
圖4-2 雨刷覆蓋示意圖 43
圖4-3 雨刷擺動速度快抓取率比較圖 45
圖4-4 雨刷擺動速度慢抓取率比較圖 45
圖4-5 雨刷擺動速度快之光流不同門檻值之抓取率比較圖 46
圖4-6 雨刷擺動速度慢之光流不同門檻值之抓取率比較圖 46
圖4-7 雨刷抓取率比較圖 47
圖4-8 雨刷擺動至中間示意圖 49
圖4-9 雨刷擺動至兩端示意圖 50
圖4-10 天色昏暗影像還原示意圖 51
圖5-1 雨滴、雨痕與雨刷示意圖 53
圖5-2 影像還原殘影與疊影示意圖 55
圖5-3 回填影像示意圖 55

表目錄
表4-1 雨刷擺動快與慢兩影片之規格 44
表4-2 光流法與連續影像相減法之比較 52

參考文獻
[1] 陳冠名，具深度資訊之道路辨識影像處理技術，國立中山大學機械與機電工程學系碩士論文，中華民國100年7月。
[2] 張順凱，以模糊推論為基礎之夜間行人辨識系統，國立中山大學機械與機電工程學系碩士論文，中華民國101年7月。
[3] A. Cord and D. Aubert, “Towards rain detection through use of in-vehicle multipurpose cameras,” 2011 IEEE Conference on Intelligent Vehicles Symposium (IV), Baden-Baden, Germany, June 5-9, 2011, pp. 833-838.
[4] H. Kurihata, T. Takahashi, Y. Mekada, I. Ide and H. Murase , “Raindrop detection from in-vehicle video camera images for rainfall judgment,” First International Conference on Innovative Computing, Information and Control (ICICIC'06), Vol. 2, Beijing, China, Aug. 30 2006-Sept. 1 2006, pp. 544 – 547.
[5] M. Roser and A. Geiger, “Video-based raindrop detection for improved image registration,” 2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops), Kyoto, Japan, Sept. 27 2009-Oct. 4 2009, pp. 570 – 577.
[6] J.C. Halimeh and M. Roser, “Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation,” IEEE Intelligent Vehicles Symposium, Xi'an, China, 3-5 June 2009, pp. 610 – 615.
[7] 莊峻豪，雨天車前擋風玻璃影像之還原技術，國立中山大學機械與機電工程學系碩士論文，中華民國103年8月。
[8] M. Shen and P. Xue, “A fast algorithm for rain detection and removal from videos,” IEEE International Conference on Multimedia and Expo, Barcelona, Spain, 11-15 July, 2011, pp.1-6.
[9] J.H. Park, M.H. Kim, H.J. Im, K.C. Lee, and S. Lee, “Development of vision based control smart windshield wiper system for intelligent vehicle,” International Joint Conference on SICE-ICASE, Busan, Korea, 18-21 October, 2006, pp. 4398-4403.
[10] K.C. Cheok, K. Kobayashi, S. Scaccia and G. Scaccia, “A fuzzy logic-based smart automatic windshield wiper,” IEEE Control Systems, Vol. 16, No. 6, Dec 1996, pp. 28–34.
[11] 彭毓瑩，雨刷機構創新與合成，國立清華大學動力機械工程研究所碩士論文，中華民國91年7月。
[12] 邱奕鳴，手眼協調控制之適應性拍球系統，國立中山大學機械與機電工程學系碩士論文，中華民國102年8月。
[13] 何坤鑫，以光流為基礎之影像追循》，國立中山大學機械與機電工程學系碩士論文，中華民國90年6月。
[14] 陳厚安，全自主顯示於汽車擋風玻璃上之障礙物警示系統之數學模型，國立台灣科技大學機械工程系碩士論文，中華民國100年7月。