論文使用權限 Thesis access permission:自定論文開放時間 user define
開放時間 Available:
校內 Campus: 已公開 available
校外 Off-campus: 已公開 available
論文名稱 Title |
使用長短期記憶網絡模型的時間序列預測 Time series prediction using LSTM Network Models |
||
系所名稱 Department |
|||
畢業學年期 Year, semester |
語文別 Language |
||
學位類別 Degree |
頁數 Number of pages |
55 |
|
研究生 Author |
|||
指導教授 Advisor |
|||
召集委員 Convenor |
|||
口試委員 Advisory Committee |
|||
口試日期 Date of Exam |
2018-07-05 |
繳交日期 Date of Submission |
2018-07-19 |
關鍵字 Keywords |
長短期記憶網絡模型、預測、時間序列模型 prediction, LSTM, time series model |
||
統計 Statistics |
本論文已被瀏覽 5715 次,被下載 1 次 The thesis/dissertation has been browsed 5715 times, has been downloaded 1 times. |
中文摘要 |
隨著硬體的進步,以往需要大量計算的複雜方法得以實現,這也促使更多機器學習方法及類神經網絡模型研究的蓬勃發展。此篇主要探討的是遞迴神經網絡的長短期記憶網絡模型。首先,我們介紹長短期記憶網絡模型的基本概念以及其模型訓練方法。第二部分討論其長短期預測及比較其與傳統時間序列模型的差異。第三部分將以模擬分析比較傳統時間序列模型與長短期記憶網絡模型的預測表現。在實證分析方面,我們對高雄市腳踏車的租借資料建立長短期記憶網絡模型並進行預測分析。 |
Abstract |
As recent computing hardware technology has undergone rapid and significant advances, complex methods that require a lot of computing power have been realized, which has led to the development of more machine learning methods and neural network models. This paper discusses the Long short-term memory (LSTM) network model of recurrent neural networks. The first part of this paper introduces the basic concept of LSTM and its training method. The second part discusses short- and long-term prediction, and compares their differences with the conventional time series model. The third part compares the prediction performance of the conventional time series model and LSTM by analysing simulated data. In the empirical study, a Long short-term memory network model is fitted for bicycle rental data in Kaohsiung, and predictive analysis is performed. |
目次 Table of Contents |
論文審定書 i 誌謝 ii 摘要 iii Abstract iv 1 Introduction 1 2 Long short-term memory network models 3 2.1 Recurrent neural network . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3 Backpropagation through time . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Parameters update . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.5 Hyperparameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3 Time series prediction using LSTM network models 9 3.1 One-step ahead prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 3.2 Multi-step ahead prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 10 4 Simulation Study: LSTM versus conventional models 11 4.1 Stationary case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.1.1 Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 4.1.2 Nonlinear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.2 Non-stationary case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.3 Change-point case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 5 Empirical study 20 5.1 Data introdution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 5.3 Adjusted data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 5.3.1 Model select . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215.3.2 Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 5.4 Origin data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 6 Conclusion 24 7 References 26 8 Appendix 27 8.1 Appendix A: Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 8.2 Appendix B: Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 |
參考文獻 References |
[1] Bianchi, F. M., Maiorino, E., Kampffmeyer, M. C., Rizzi, A., Jenssen, R. (2017). An overview and comparative analysis of Recurrent Neural Networks for Short Term Load Forecasting. arXiv preprint arXiv: 1705.04378. [2] Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press, US. [3] G´eron, A. (2017). Hands-on machine learning with Scikit-Learn and TensorFlow: concepts, tools, and techniques to build intelligent systems. O’Reilly Media, US. [4] Graves, A. (2012). Supervised sequence labelling with recurrent neural networks. Springer, New York. |
電子全文 Fulltext |
本電子全文僅授權使用者為學術研究之目的,進行個人非營利性質之檢索、閱讀、列印。請遵守中華民國著作權法之相關規定,切勿任意重製、散佈、改作、轉貼、播送,以免觸法。 論文使用權限 Thesis access permission:自定論文開放時間 user define 開放時間 Available: 校內 Campus: 已公開 available 校外 Off-campus: 已公開 available |
紙本論文 Printed copies |
紙本論文的公開資訊在102學年度以後相對較為完整。如果需要查詢101學年度以前的紙本論文公開資訊,請聯繫圖資處紙本論文服務櫃台。如有不便之處敬請見諒。 開放時間 available 已公開 available |
QR Code |