本論文以數位信號處理器(DSP)為基礎，開發一套臉部表情辨識系統。大部分的臉部表情辨識系統，多為假設人臉已定位，或者是以單純顏色為背景，不然即是以手動標示臉部特徵點，少有完整性的自動化辨識系統。本論文則是一套完整性的臉部表情辨識系統，由CCD攝影機擷取影像，DSP自動完成人臉定位、特徵點抽取，以及臉部表情辨識。
整個臉部表情辨識系統分為四個子系統：影像擷取系統，基因演算法人臉定位系統，臉部特徵點抽取系統，模糊邏輯表情辨識系統。影像擷取系統是使用CCD攝影機，於任意背景下擷取欲辨識的人臉表情影像，透過DSP處理板的PPI介面，傳輸影像資料至DSP處理板的SRAM中。人臉定位系統，是利用基因演算法，藉由臉部膚色與臉部橢圓資訊，找出影像中人臉所在位置，不需限定人臉大小，以及是否需要單純背景。特徵點抽取系統是在定位的人臉中，利用各影像處理技巧，找出臉部的16特徵點。模糊邏輯表情辨識系統，由這16個臉特徵點，分析臉部動作元變化並模糊化，搭配模糊判斷法則，判斷出高興、生氣、驚訝、無表情四種臉部表情。
經由實驗結果得知，不論在辨識率或辨識速度上，本論文的臉部表情辨識系統皆有著不錯的成果。

This thesis is based on the DSP to develop a facial expression recognition system. Most facial expression recognition systems suppose that human faces have been found, or the background colors are simple, or the facial feature points are extracted manually. Only few recognition systems are automatic and complete. This thesis is a complete facial expression system. Images are captured by CCD camera. DSP locates the human face, extracts the facial feature points and recognizes the facial expression automatically.
The recognition system is divided into four sub-system: Image capture system, Genetic Algorithm human face location system, Facial feature points extraction system, Fuzzy logic facial expression recognition system. Image capture system is using CCD camera to capture the facial expression image which will be recognized in any background, and transmitting the image data to SRAM on DSP through the PPI interface on DSP. Human face location system is using genetic algorithm to find the human face’s position in image by facial skin color and ellipse information, no matter what the size of the human face or the background is simple. Feature points extraction system is finding 16 facial feature points in located human face by many image process skills. Facial expression recognition system is analyzing facial action units by 16 feature points and making them fuzzily. Judging the four facial expression: happiness, anger, surprise and neutral, by fuzzy rule bases..
According to the results of the experiment. The facial expression system has nice performance on recognition rate and recognition speed.

圖片目錄 IV
表格目錄 VII
第一章 緒論 1
1.1 研究動機 1
1.2 研究目的 2
1.3 系統架構 3
1.4 論文組織 7
第二章 基因演算法人臉定位 8
2.1 YCRCB空間膚色偵測 9
2.2 影像邊緣偵測 11
2.3 影像壓縮及拉高 13
2.3.1 影像壓縮 13
2.3.2 影像拉高 15
2.4 基因演算法 17
2.4.1 產生初始基因 18
2.4.2 生存適合值計算 19
2.4.3 基因交配 20
2.4.5 基因突變 21
2.4.6 基因篩選 22
2.4.7 基因演算法終止條件 22
2.5 解壓縮與人臉定位 23
2.6 實測結果 24
第三章 臉部特徵點抽取系統 25
3.1 眼睛定位與特徵點抽取 27
3.1.1 粗略眼睛定位 28
3.1.2 眼球定位 29
3.1.2.1 擴張(dilation)運算 31
3.1.2.2 侵蝕(erosion)運算 31
3.1.3 精細眼睛定位 33
3.1.4 眼睛特徵點抽取 33
3.2 眉毛定位與特徵點抽取 35
3.2.1 眉毛定位 35
3.2.2 眉毛特徵點抽取 36
3.3 嘴巴特徵點抽取 38
3.3.1 嘴巴左右特徵點抽取 38
3.3.1.1 影像均化 39
3.3.2 嘴巴上特徵點抽取 41
3.3.3 嘴巴下特徵點抽取 42
3.4 人臉特徵點抽取成果圖 44
第四章 模糊邏輯表情辨識系統 46
4.1 特徵向量計算 47
4.2 模糊邏輯辨識系統 48
4.2.1 動作元分析 49
4.2.1.1 動作元判斷 50
4.2.1.2 動作元模糊化 51
4.2.2 模糊判斷法則 52
4.2.3 模糊推論引擎 53
4.2.4 解模糊化 54
第五章 硬體架構 55
5.1 硬體架構介紹 55
5.2 CCD原理 57
5.3 影像格式說明 58
5.4 ADSP-BF533 EZ KIT-LITE系統簡介 59
5.5 VISUAL DSP++ 3.1 62
5.6 DSP端影像輸入設定 64
5.7 DSP端影像輸出設定 65
第六章 實驗方法與結果 66
6.1 PC端實驗方法與結果 66
6.1.1 PC端實驗方法 67
6.1.1 PC端實驗結果 68
6.2 DSP端實驗方法與結果 70
6.2.1 DSP端實驗方法 71
6.2.2 DSP端實驗結果 72
6.3 結論 75
第七章 未來展望 77
參考文獻 78

[1] http://www.analog.com
[2] “ADSP-BF533 EZ-KIT Lite™ Evaluation System Manual”，2003
[3] “ADSP-BF533 Blackfin Processor Hardware Reference”，2003
[4] “Visual DSP++™ 3.1 C/C++ Compiler and Library Manual for Blackfin™ Processors”，2003
[5] “Visual DSP++™ 3.1 Assembler and Processor Manual for Blackfin Processors”，2003
[6] “Visual DSP++™ 3.1 Getting Started Guide for Blackfin Family DSPs”，2003
[7] http://iris.usc.edu/Vision-Notes/bibliography/contents.html
[8] http://www-2.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html
[9] Wang, L.X., A Course in Fuzzy Systems and Control.
[10] Claude C. Chibelushi, Fabrice Bourel,“Facial Expression Recognition: A Brief Tutorial Overview”,2002
[11] Mase, K.,“Recognition of Facial Expression from Optical Flow”,IEICE(E74-xx),No. 10, 1991, pp. 3474-3483. BibRef 9100
[12] Tian, Y.L., Kanade, T., Cohn, J.F., “Recognizing Action Units for Facial Expression Analysis”,PAMI(23), No. 2, February 2001, pp. 97-115.IEEE Abstract. IEEE Top Reference.
[13] Lien, J.J., Kanade, T., Cohn, J.F., Li, C.C.,“Automated Facial Expression Recognition Based on FACS Action Units”, AFGR98(390-395).

[14] 鄭凱文，“以DSP為基礎人類頭部追蹤系統之研發”，國立中山大學電機工程學研究所，碩士論文，2004
[15] 黃渤弘，“道路車輛偵測與相對距離估測系統”，國立中山大學電機工程學研究所，碩士論文，2004
[16] 林億晉，“DSP-Based之人臉特徵抽取與身分辨識系統”，國立中山大學電機工程學研究所，碩士論文，2004
[17] 徐嘉宏，“DSP之手寫數字與形狀辨識系統”，國立中山大學電機工程學研究所，碩士論文，2003
[18] 顏睿余，“高性能DSP based影像擷取辨識系統”，國立中山大學電機工程學研究所，碩士論文，2002
[19] 楊証賀，“影像辨識於圖形識別之探討與次像素演算法之研究與應用”，國立中山大學電機工程學研究所，碩士論文，2002
[20] 劉宜德，“軟性電路板自動化視覺導引鑽孔系統之研發”，國立中山大學電機工程學研究所，碩士論文，2001
[21] 吳明衛，“自動化臉部表情分析系統”，國立成功大學資訊工程學研究所，碩士論文，2003
[22] 陳皇名“臉部表情辨識系統—以FACS為導向”，國立台灣大學電機工程學研究所，碩士論文，2003
[23] 吳瑞珍，“人臉特徵自動抽取之演算法設計與應用”，私立元智大學電機工程學研究所，碩士論文，2002
[24] 蘇芳生，“人臉表情辨識系統”，國立中正大學通訊工程學研究所，碩士論文，2004
[25] 陳正凱，“C++函式庫精華錄”，台北，金禾資訊，2001
[26] 林宸生，“數位訊號-影像與語音處理”，台北，全華科技，1997
[27] 鐘國亮，“影像處理與電腦視覺”，台北，東華書局，2002
[28] 侯俊傑，“深入淺出MFC”，台北，?眳p資訊，1996