摘要
對於處理多類別的分類問題上，大致上可以分為二個方向，一是針對多類別分類問題直接處理，而另一個方向則是將多類別分類問題分解成多個二類別分類問題來處理，在第二個方向中，由於是分解成多個二類別分類問題來處理，因此對於個別的二類別分類問題中將會使得問題更加簡單，更藉由整合這多個二類別分類問題的分類效果而更可以使得整體的分類精度獲得改善，而對於在如何分解成多個二類別問題來處理的問題上。在我們研究中，將是以動態規劃演算法(Dynamic Programming , DP)為基礎，來求得這多類別分類問題分解為多個二類別分類問題的最佳解，不僅使得問題在處理上簡單化，並且經常可以達到更好的分類效果。

Abstract
On the whole, there are two ways to dispose of multiclass classification problem. One is deal it with directly. And the other is dividing it into several binary-class problems. For this reason, it will be simpler as regards individual binary-class problems. And it can improve the accuracy of the multiclass classification problem by reorganize the effect. So how to decompose several binary-class problems is the most important point. Here, based on our study, we use Dynamic Programming as foundation to get the optimal solution of multiclass’s decomposition. Not only get it simplify but also can achieved the best classified result.

目錄
第一章 緒論…………………………………………………………..…..1
1.1前言………………………………………………………….…1
1.2研究動機…………………………………………………….…1
1.3 論文架構………………………………………………………2
第二章 文獻回顧………………………………………………………....4
2.1 One-against-all分類方法………………………………….4
2.1.1方法概念介紹……………………………………………...4
2.1.2方法流程…………………………………………………...5
2.2 One-against-one分類方法………………………………….7
2.2.1方法概念介紹……………………………………..……….7
2.2.2方法流程……………………..…………………………….8
第三章 動態規劃分類方法………………………………...……………11
3.1方法概念介紹…………………………………………………11
3.2動態規劃演算法介紹…………………………………………11
3.3最佳路徑………………………………………………………13
3.4耗費值重複累加的問題………………………………………16
3.5方法流程………………………………………………………21
第四章 Weighted one-against-one分類方法………………………….23
4.1方法概念介紹…………………………………………………23
4.2加權值的應用…………………………………………………23
4.3二類別決策的加權值…………………………………………25
4.4方法流程………………………………………………………30
第五章 各分類方法的分析比較………………………………….....……32
5.1 One-against-all分類方法分析……………………………33
5.2 One-against-one分類方法分析……………………………34
5.3 動態規劃分類方法分析…………………………………….34
5.4 Weighted one-against-one分類方法分析……………….36
5.5人造資料實驗結果……………………………………………43
第六章 實驗結果……………………………………………….....………46
6.1 MLP網路架構………………………………………………..46
6.2 Adaboost 演算法…………………………………………..47
6.3 人造資料的實驗結果……………………………………….50
6.4真實世界資料的實驗結果……………………………………51
第七章 Partial Weighted one-against-one分類方法………………….56
7.1方法概念介紹…………………………………………………56
7.2二階段的類別組合……………………………………………57
7.3方法流程………………………………………………………59
7.4真實世界資料的實驗結果……………………………………60
第八章 結論………………….....…………………………………………64
參考文獻…………………………....……………………………………..66


圖目錄
圖2.1 One-against-all方法流程圖……………………………………….5
圖2.2 One-against-all方法訓練程序說明圖………….……… ………6
圖2.3 MLP網路示意圖……………………….…………………………....6
圖2.4 輸出值示意圖………………………….…………………………...7
圖2.5 One-against-one方法流程圖…………………...…………………8
圖2.6 One-against-one方法訓練程序說明圖…….…..…………………8
圖2.7 MLP網路示意圖………………………………………………….....9
圖2.8 分類結果示意圖……………………………………………...…..10
圖3.1 動態規劃演算法例子說明圖………………………………..…...12
圖3.2 第一階段起始點12345可行決策示意圖……………………......14
圖3.3 第二階段節點1234可行決策示意圖………………………….....14
圖3.4 第三階段節點123可行決策示意圖……………………………....14
圖3.5 第四階段節點12可行決策示意圖…………………….………....15
圖3.6 所有可行路徑示意圖…………………………………….……....15
圖3.7 各節點下一步最佳連結示意圖………………………….……....15
圖3.8 最佳路徑圖…………………………………………….………....15
圖3.9 耗費值重複累加問題示意圖…………………………...………..17
圖3.10 前向修正耗費值示意圖………………………………….……...17
圖3.11 節點123可走的決策示意圖………………………………….....18
圖3.12 決策123->12耗費值計算…………………………………….....19
圖3.13 決策123->13耗費值計算…………………………………….....19
圖3.14 決策123->23耗費值計算…………………………………….....20
圖3.15 動態規劃分類方法流程圖……………………………………....21
圖4.1 One-against-one方法加權值的應用……………………………..24
圖4.2 One-against-one方法缺點示意圖………………………………..24
圖4.3 Weighted one-against-one加權值的應用……………………….25
圖4.4 以二類別組合12為終點的最佳路徑圖……………………….....26
圖4.5 測試資料進入12345->1245->124->12路徑後
分類過程的情形……………………………………………….....26
圖4.6 加權值計算的概念…………………………………………..…...27
圖4.7 以二類別12組合為終點的最佳路徑中,第一個決策
12345->1245加權值的計算……………………………...……….27
圖4.8 以二類別12組合為終點的最佳路徑中,第二個決策
1245->124加權值的計算………………………………….….....28
圖4.9 以二類別12組合為終點的最佳路徑中,第三個決策
124->12加權值的計算……………………………….……….....29
圖4.10 Weighted one-against-one流程圖………….……………..….30
圖5.1 人造資料的分布情形……………………………………...……..32
圖5.2 One-against-all問題示意圖……………………………………..33
圖5.3 One-against-one問題示意圖…………………………..………..34
圖5.4 決策12345->1234的分類情形…………………………………....35
圖5.5決策1234->123的分類情形…………………………………….....35
圖5.6決策123->12的分類情形……………………………………….....35
圖5.7決策12->1,2的分類情形……………………………………….....35
圖5.8 測試資料進入12345->1234->123->12路徑後分類過
程的情形……………………………………………………….....37
圖5.9 分類結果A(類別5)的情形…………………………………….....38
圖5.10 分類結果B(類別4)的情形……………………………………....39
圖5.11 分類結果C(類別3)、D(類別12)的情形………………….…....39
圖5.12 決策12345->1235的分類情形………….………….…………...42
圖5.13 決策1235->125的分類情形………….………………………....42
圖5.14 決策125->15的分類情形………….….………………………...42
圖6.1 MLP網路的架構圖……………….…………………………….....46
圖6.2 訊號前餽傳輸及誤差訊號逆向修正示意圖……………….…....47
圖6.3 AdaBoost演算法處理二類別分類問題的流程圖…………….....48
圖7.1各種類別組合內的誤差示意圖…………………………….….....58
圖7.2 e(C3C4C5)誤差大小示意圖………………………………….…...58
圖7.3 Partially weighted one-against-one分類方法流程圖……….59


表目錄
表5.1 以各二類別為終點的最佳路徑………………………….……....36
表5.2 測試資料經由各最佳路徑的分類結果而決定所給予的
加權值………………………………………………………….....39
表5.3 二類別決策分類結果………………………………………….....40
表5.4 各類別分類後所得的累加權值…………….…………………....40
表5.5 人造資料的在不同神經元的實驗中所得到的分類精度…….....43
表5.6 Weighted one-against-one分類方法在處理人造資料時
(使用MLP分類器，神經元1顆)，各類別的測試資料對於
二類別決策平均所給予的加權值………………………………….44
表5.7 Weighted one-against-one分類方法在處理人造資料時
(使用MLP分類器，神經元2顆)，各類別的測試資料對於
二類別決策平均所給予的加權值…………………………..…….45
表6.1 人造資料實驗結果(分類精度)………………………..………...51
表6.2 Weighted one-against-one分類方法在處理人造資料時
(使用MLP分類器配合Adaboost機制，神經元2顆)，各類
別的測試資料對於二類別決策平均所給予的加權值……….……52
表6.3 真實世界資料內容…….…………………………….…………...52
表6.4 分類器參數設定…………………………………….………..…..53
表6.5 真實世界資料實驗結果(測試分類精度)………………………...54
表6.6 真實世界資料實驗平均所需時間(Sec)………………………....55
表7.1 各誤差所代表的意義………………….…………………..……..58
表7.2 真實世界資料內容…………………….………………………....61
表7.3 分類器參數設定……………………….………………….……...61
表7.4 真實世界資料實驗結果(測試分類精度)………………………...62
表7.5 真實世界資料實驗平均所需時間(Sec)………………………....63

參考文獻
C. W. Hsu and C. J. Lin, “A Comparision of Methods for Multiclass Support Vector Machines,” IEEE Transaction on Neural Networks, VOL.13, NO2, March 2002, pp. 415-425

C. L. Blake and C. J. Merz(1998) UCI Repository of Machine Learning DataBases. Univ. California, Dept. Inform. Comput. Sci., Irvine, CA. [Online]. Available: http://www.ics.uci.edu/~mlearn/ML-Repository.html

E. Alpaydm and E. Mayoraz, “Learning Error-Correcting Output Codes from Data,” of the Ninth Int. Conf. on Artifical Neural Networks, Conference Publication NO.480, 7-10 September 1999

F. Masulli and G. Valentini, “Comparing Decomposition Methods for Classification,” of the Fourth Int. Conf. on knowledge-Based Intelligent Engineering System & Allied Technology, 30th Aug-1th Sept 2000, Brightom, UK, pp. 788-791

J. Kittler, R. Ghaderi, T. Windeatt and J. Matas, “Face Verification Using Error Correcting Output Codes,” Centre for Vision,Speech and Signal Processing Univerisity of Surrey, Guildford, Surrey GU2 7XH, UK, pp. I-755~I-760

D. E. Kirk, ”Optimal Control Theory,” University Book Publishing Company , 1985

D. R. Michael and P. L. Richard, “Neural Network Classifiers Estimate Bayesian a posteriori Probablities,” Massachusetts Institute of Technology, Neural Computation 3, pp. 461-483, 1991

S. Haykin, ”Neural Network : a comprehensive foundation,” 2nd Edition, Prentice Hall Internation, 1999

G. D. Thomas and G. Bakiri, “Solving Multiclass Learning Problems via Error-Correcting Output Codes,” Journal of Artifical Intelligence Research 2, 1995, pp. 263-286

Y. Freund and E. S. Robert, ”A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting,” Journal of Computer and System Sciences 55, 1997, pp. 119-139

陳明, PC電腦語音辨認實作, 1994, pp. 99-102

葉清松,”A Dynamic programming Based Automatic Nodule Image Segmentation Method,” 碩士論文, 中山大學機械工程研究所, 2001