ROC（Receiver Operating Characteristic）分析在許多領域中，可用來當作決策時的參考依據，藉由觀察ROC曲線上的操作點（operating point），可瞭解問題本身的損益平衡狀況，而應用在分類問題上，亦可作為評估分類器的局部性能。而其中的關鍵在於，產生的ROC曲線能否真正的準確，以便客觀地讓使用者做為評估的工具。本文針對使用人工神經網路（artificial neural networks）於型態鑑別之分類問題做探討，一般產生ROC曲線的方法，是使用調整門檻值方式，找到各個不同的操作點，但此方法並無針對局部性加以訓練。本文遂引入機率密度的概念，使用k最近鄰居（k-nearest neighbor）密度估測器，估算樣本在各類別間出現的相對機率大小關係，找出適當的移轉區域，使得網路在訓練之前，能針對此區域附近的樣本群作前處理及規劃。並使用階段性擷取，挑選出較佳的分段曲線。在實驗方面，使用多種真實世界與人工模擬資料，與一般方法做一比較，並使用AUC（Area Under the Curve）值做為評估曲線優劣的標準。

none

摘要………………………………………………………………………… I
目錄………………………………………………………………………… II
圖次………………………………………………………………………… IV
表次………………………………………………………………………… VII
第一章 緒論
1.1 前言……………………………………………………………… 1
1.2 研究動機………………………………………………………… 2
1.3 ROC曲線名詞介紹……………………………………………… 4
1.4 論文架構………………………………………………………… 6
第二章 類神經網路學習法則與一般產生ROC曲線的方法
2.1 MLP架構………………………………………………………… 7
2.2 Early Stop的機制………………………………………………… 9
2.3 委員會機器……………………………………………………… 11
2.4 一般產生ROC曲線的方法……………………………………… 12
2.5 分類問題本身之最佳化ROC曲線及可行性的探討…………… 15
2.5.1 非重疊型態之問題………………………………………… 15
2.5.2 重疊型態之問題…………………………………………… 17
2.5.3 從分類精度談ROC曲線改善的空間……………………… 18
第三章 ROC曲線的設計方法
3.1 設計ROC曲線的新方法………………………………………… 19
3.1.1 設計ROC曲線的基本原則………………………………… 19
3.1.2 決策邊界和機率密度函數的關係………………………… 20
3.1.3 找尋最佳操作點的原理…………………………………… 22
3.2 k-NN機率密度估測原理………………………………………… 24
3.3 階段性的ROC曲線選取方法…………………………………… 29
3.4 改良方法的適用性……………………………………………… 32
第四章 實驗與分析
4.1 分類器的參數安排……………………………………………… 35
4.2 採用真實世界資料之測試與分析……………………………… 37
4.2.1 肺癌………………………………………………………… 37
4.2.2 糖尿病……………………………………………………… 42
4.2.3 乳癌………………………………………………………… 44
4.2.4 信用卡……………………………………………………… 46
4.2.5 語音………………………………………………………… 48
4.3 採用人為模擬資料之測試與分析……………………………… 50
4.3.1 二維均勻分佈……………………………………………… 50
4.3.2 二維高斯分佈……………………………………………… 53
第五章 結論……………………………………………………………… 56
參考文獻…………………………………………………………………… 57
附錄 實驗詳細資料……………………………………………………… 59

[1] F. Rosenblatt, “The perceptron: A Probabilistic model for information storage and organization in the brain,” Psychological Review, vol. 65, pp. 386-408, 1958.
[2] M. T. Hagan, H. B. Demuth and M. Beale, Neural network design, PWS, Boston, 1996.
[3] G. P. Zhang, “Neural Networks for Classification: A Survey,” IEEE Trans. Syst., Man and Cybern., Part C: Applications And Reviews, vol. 30, no. 4, pp. 451-462, 2000.
[4] T. J. Downey, D. J. Meyer, R. K. Price and E. L. Spitznagel, “Using the receiver operating characteristic to asses the performance of neural classifiers,” Int. Joint Conf. Neural Networks, vol. 5, pp. 3642-3646, 1999.
[5] S. Dougherty, K. W. Bowyer and C. Kranenburg, “ROC curve evaluation of edge detector performance,” in Proc. Int. Conf. Image Processing, vol. 2, pp. 525 –529, 1998.
[6] J. M. DeLeo and S. J. Rosenfeld, “Essential roles for receiver operating characteristic（ROC）methodology in classifier neural network applications,” in Proc. Int. Joint Conf. Neural Networks, vol.4, pp. 2730-2731, 2001.
[7] K. Woods and K. W. Bowyer, “Generating ROC curves for artificial neural networks,” IEEE Trans. Medical Imaging, vol. 16, no. 3, pp. 329-337, June 1997.
[8] J. C. Principe, N. R. Euliano and W. C. Lefebvre, Neural and Adaptive Systems: Fundamentals through Simulation, John Wiley, New York, 2000.
[9] S. Haykin, Neural Networks: A Comprehensive Foundation, Prentice-Hall, New Jersey, 1999.
[10] D. O. Loftsgaarden and C. P. Quesenberry, “A nonparametric estimate of a multivariate density function,” Ann. Math. Stat., vol. 36, pp. 1049-1051, June 1965.
[11] G. Parthasarahy and B. N. Chatterji, “A class of new KNN methods for low sample problems,” IEEE Trans. Syst., Man and Cybern., vol. 20, no. 3, pp. 715-718, May/June 1990.
[12] D. W. Ruck, S. K. Rogers, M. Kabrisky, M. E. Oxley and B. W. Suter, “The multilayer perceptron as an approximation to a Bayes optimal discriminant function,” IEEE Trans. Neural Networks, vol. 1, no. 4, pp. 296 –298, Dec. 1990.
[13] UCI Repository of machine learning databases, http://www.ics.uci.edu/~mlearn/MLRepository.html