Responsive image
博碩士論文 etd-0612118-160809 詳細資訊
Title page for etd-0612118-160809
論文名稱
Title
使用長短期記憶網絡模型的時間序列預測
Time series prediction using LSTM Network Models
系所名稱
Department
畢業學年期
Year, semester
語文別
Language
學位類別
Degree
頁數
Number of pages
55
研究生
Author
指導教授
Advisor
召集委員
Convenor
口試委員
Advisory Committee
口試日期
Date of Exam
2018-07-05
繳交日期
Date of Submission
2018-07-19
關鍵字
Keywords
長短期記憶網絡模型、預測、時間序列模型
prediction, LSTM, time series model
統計
Statistics
本論文已被瀏覽 5715 次,被下載 1
The thesis/dissertation has been browsed 5715 times, has been downloaded 1 times.
中文摘要
隨著硬體的進步,以往需要大量計算的複雜方法得以實現,這也促使更多機器學習方法及類神經網絡模型研究的蓬勃發展。此篇主要探討的是遞迴神經網絡的長短期記憶網絡模型。首先,我們介紹長短期記憶網絡模型的基本概念以及其模型訓練方法。第二部分討論其長短期預測及比較其與傳統時間序列模型的差異。第三部分將以模擬分析比較傳統時間序列模型與長短期記憶網絡模型的預測表現。在實證分析方面,我們對高雄市腳踏車的租借資料建立長短期記憶網絡模型並進行預測分析。
Abstract
As recent computing hardware technology has undergone rapid and significant advances, complex methods that require a lot of computing power have been realized, which has led to the development of more machine learning methods and neural network models. This paper discusses the Long short-term memory (LSTM) network model of recurrent neural networks. The first part of this paper introduces the basic concept of LSTM and its training method. The second part discusses short- and long-term prediction, and compares their differences with the conventional time series model. The third part compares the prediction performance of the conventional time series model and LSTM by analysing simulated data. In the empirical study, a Long short-term memory network model is fitted for bicycle rental data in Kaohsiung, and predictive analysis is performed.
目次 Table of Contents
論文審定書 i
誌謝 ii
摘要 iii
Abstract iv
1 Introduction 1
2 Long short-term memory network models 3
2.1 Recurrent neural network . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.2 Loss function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.3 Backpropagation through time . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.4 Parameters update . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.5 Hyperparameter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
3 Time series prediction using LSTM network models 9
3.1 One-step ahead prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2 Multi-step ahead prediction . . . . . . . . . . . . . . . . . . . . . . . . . . 10
4 Simulation Study: LSTM versus conventional models 11
4.1 Stationary case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.1.1 Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
4.1.2 Nonlinear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.2 Non-stationary case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
4.3 Change-point case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
5 Empirical study 20
5.1 Data introdution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5.2 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
5.3 Adjusted data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
5.3.1 Model select . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215.3.2 Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
5.4 Origin data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
6 Conclusion 24
7 References 26
8 Appendix 27
8.1 Appendix A: Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
8.2 Appendix B: Table . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
參考文獻 References
[1] Bianchi, F. M., Maiorino, E., Kampffmeyer, M. C., Rizzi, A., Jenssen, R. (2017). An
overview and comparative analysis of Recurrent Neural Networks for Short Term Load
Forecasting. arXiv preprint arXiv: 1705.04378.
[2] Goodfellow, I., Bengio, Y., Courville, A. (2016). Deep Learning. MIT Press, US.
[3] G´eron, A. (2017). Hands-on machine learning with Scikit-Learn and TensorFlow: concepts,
tools, and techniques to build intelligent systems. O’Reilly Media, US.
[4] Graves, A. (2012). Supervised sequence labelling with recurrent neural networks.
Springer, New York.
電子全文 Fulltext
本電子全文僅授權使用者為學術研究之目的,進行個人非營利性質之檢索、閱讀、列印。請遵守中華民國著作權法之相關規定,切勿任意重製、散佈、改作、轉貼、播送,以免觸法。
論文使用權限 Thesis access permission:自定論文開放時間 user define
開放時間 Available:
校內 Campus: 已公開 available
校外 Off-campus: 已公開 available


紙本論文 Printed copies
紙本論文的公開資訊在102學年度以後相對較為完整。如果需要查詢101學年度以前的紙本論文公開資訊,請聯繫圖資處紙本論文服務櫃台。如有不便之處敬請見諒。
開放時間 available 已公開 available

QR Code