摘要

委員會機器(Committee Machine)在類神經網路領域中的應用，主要是用來結合數個單一類神經網路，透過某些投票方式，以及整合的方法，可以將數個單一類神經網路結合，建立一委員會機器；如同社會上各種會議結構，都有一定的議程和投票方式，整合各方委員的意見來決策某些事項。
本論文提及的類神經網路，是應用在型態鑑別(Pattern Recognition)上，內容主要介紹常用Committee Machine的異同，簡單介紹、比較，並亦提出一新的Committee Machine的組合方式(兩階段決策之委員會機器)，論文中亦稱之為Committee Coordinator，可以能有效提高分類正確率，並與常用之Averaging Committee、Bagging Ensemble、AdaBoost等諸種委員會機器的演算法互相比較，提供一些討論。

none

目錄

第一章 緒論…………………………………………………………1
1.1前言……………………………………………………………………1
1.2 研究動機……………………………………………………………...2
1.3 論文架構……………………………………………………………...2
第二章 常見幾種Committee Machine Algorithms…………………4
2.1委員會機器…………………………………………………………….4
2.2 Neural Network Model：Multilayer Perceptrons………………………4
2.2.1 MLP網路架構…………………………………………………….4
2.2.2 MLP網路在型態鑑別上的設定相關…………………………….6
2.3 Averaging Committee…………………...…………………………..….7
2.3.1 Averaging Committee運作範例說明……………………...……...8
2.3.2 Averaging Committee 數學證明…………………………….…....8
2.3.3 Averaging Committee實驗…………………………………....…10
2.4 Bagging Ensemble……………………………………………….……13
2.4.1 Bootstrap Method…………………………………………...……14
2.4.2 Averaging Committee與Bagging Ensemble的比較……………18
2.5 AdaBoost Algorithm………………………………………………..…21
2.5.1 AdaBoost 1 詳細流程……………………………………...……23
2.5.2 AdaBoost 2詳細流程……………………………………………26
2.5.3 AdaBoost 1和AdaBoost 2的實驗比較…………………………30
第三章 兩階段決策之委員會機器之介紹………………………...32
3.1 Committee Coordinator Algorithm…………………………………32
3.1.1 兩階段決策之委員會機器之想法………………………...…32
3.1.2 兩階段決策之委員會機器之詳細流程…………………...…33
3.1.2 MLP網路輸出值的意義…………………………...…………36
3.1.3 門檻值的意義說明………………………………………...…38
第四章 實驗與結果…………………………………………...……41
4.1 真實世界資料的實驗測試……………………………………..…41
4.1.1 真實資料測試，Averaging Committee與Bagging Ensemble的比較……………………………………………………….…43
4.1.2真實資料測試，AdaBoost 1與AdaBoost 2的比較…………44
4.1.3真實資料測試，Bagging Ensemble與兩階段決策之委員會機
器的比較…………………………………………………….45
4.1.4真實資料測試，AdaBoost 2與兩階段決策之委員會機器的比較……………………………………………………………45
第五章 結論…………………………………………………………47
參考文獻………………………………………………………….…49
附錄A…………………………………………………….……….…50

圖目錄

圖2.1 一MLP網路架構，包含輸入層、隱藏層、輸出層……………………....5
圖2.2 MLP網路的訊號傳遞方向，以及誤差訊號的傳遞方向………………5
圖2.3 Averaging Committee的組合方式………………………………………7
圖2.4 Averaging Committee的運作範例………………………………………8
圖2.5 人造資料(一)，類別1、2資料分佈情形……………………………....11
圖2.6由Data維度1觀察到的PDF分佈情形………………………………...11
圖2.7由Data維度2觀察到的PDF分佈情形……………………………...…12
圖2.8 mean=10，variance=2的高斯分佈圖形………………………………...15
圖2.9為Bootstrap Method計算得到的Mean的Histogram分佈……………16
圖2.10 Mean的Histogram分佈與原始PDF分佈的比較…………………….17
圖2.11 人造資料(二)，類別1、2資料分佈情形……………………………...19
圖2.12 由Data維度1觀察到的PDF分佈形……………………………...…19
圖2.13實驗流程圖……………………………………………………………20
圖2.14 Averaging Committee與Bagging Ensemble的實驗結果比較……….21
圖2.15 Averaging Committee與AdaBoost流程比較……………………...….22
圖2.16 error( )、Beta( )、加權值( )之間的關係圖……………….24
圖2.17 AdaBoost 1的運作流程圖…………………………………….………25
圖2.18 AdaBoost 2的運作流程圖…………………………………….………28
圖2.19 資料分佈以及最佳邊界的圖形……………………………….……..30
圖2.20 AdaBoost 1中在第五個iteration選入的四次以上的資料點………..31
圖2.21 AdaBoost 2中在第五個iteration選入四次以上的資料點……….…31
圖3.1 兩階段決策之概念流程圖………………………………………….…33
圖3.2 兩階段決策之委員會機器的運作流程………………………….……35
圖3.3 MLP網路輸出值為0時的狀況………………………………………36
圖3.4 MLP網路輸出值為-0.5時的狀況…………………………………....37
圖3.5 MLP網路輸出值為0.5時的狀況………………………………….…37
圖3.6 人造資料的分佈情形，以及Averaging committee的邊界…………...39
圖3.7 以圖3.3邊界為依循，觀察到資料點與門檻值的關係…………….…39
圖3.8 輸入第二階段資料百分比與正確率的關係圖………………….……40
圖4.1 真實世界資料的實驗流程圖…………………………………….……41

表目錄

表2.1各個單一MLP網路的分類正確率…………………………………….12
表2.2 MLP與Averaging Committee的100次實驗統計數據…………….….13
表4.1真實世界資料………………………………………………………..…42
表4.2 MLP網路的相關參數…………………………………………….……42
表4.3 各種Committee Machine的分類正確率，其中粗體的字，表示在同一種資料的訓練當中，正確率(%)最高的………………………………43
表4.4 Averaging Committee與Bagging Ensemble的比較………………...…43
表4.5 AdaBoost 1 與AdaBoost 2的比較……………………………………44
表4.6 Bagging Ensemble與Committee Coordinator的比較…………………45
表4.7 AdaBoost 2與兩階段決策之委員會機器的比較…………………..…46

參考文獻
[1] Simon, H., 1999,“Neural Networks：A Comprehensive Foundation,”
pp. 351-355.
[2] Simon, H., 1999,“Neural Networks：A Comprehensive Foundation,”
pp. 156-251.
[3] Leo, B., 1996,“Bagging Predictors,”Machine Learning, 24, pp. 123-140.
[4] Brand, E., and Rob, T., 1993,“An Introduction to The Bootstrap,”
Chapman and Hall.
[5] Yoav, F., and Robert, E. S., 1997,“A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting,”Journal of Computer
and System Sciences, 55, pp. 119-139.
[6] Zoubir, A. M., and Boashash, B., 1998,“The Bootstrap and its Application
in Signal Processing,”IEEE Signal Processing Magazine, pp. 56-76.
[7] Opitz, D. W., and Maclin, R. F., 1997,“An Empirical Evaluation of Bagging and Boosting for Artificial Neural Networks,”International
Conference on, vol. 3, pp. 1401-1405.
[8] Yoshihiko, H., Shunji, U., and Shingo, T., 1997,“A Bootstrap Technique for Nearest Neighbor Classifier Design,”IEEE Transaction on Pattern
Analysis and Machine Intelligence, vol. 19, no. 1, pp. 73-79.
[9] Michael, D. R., and Richad, P. L., 1991,“Neural Network Classifiers Estimate Bayesian a posteriori Probabilities,”Massachusetts Institute of
Technology, Neural Computation 3, pp. 461-483.