Responsive image
博碩士論文 etd-0726110-143210 詳細資訊
Title page for etd-0726110-143210
論文名稱
Title
設計與實作一個基於Hadoop分散式檔案系統並具備服務品質的檔案傳輸通訊協定
Design and Implementation of a QoS file transfer protocol over Hadoop distributed file system
系所名稱
Department
畢業學年期
Year, semester
語文別
Language
學位類別
Degree
頁數
Number of pages
44
研究生
Author
指導教授
Advisor
召集委員
Convenor
口試委員
Advisory Committee
口試日期
Date of Exam
2010-07-08
繳交日期
Date of Submission
2010-07-26
關鍵字
Keywords
檔案複本數、檔案傳輸通訊協定、分散式檔案系統、檔案區塊大小
File Transfer Protocol (FTP), FUSE, FreeRADIUS, Hadoop Distributed File System (HDFS)
統計
Statistics
本論文已被瀏覽 5673 次,被下載 38
The thesis/dissertation has been browsed 5673 times, has been downloaded 38 times.
中文摘要
雲端運算相關服務充斥在我們的生活周遭,舉凡Google推出的搜尋服務、GMail、Google calendar及Yahoo奇摩商城、Facebook等等皆是。基本上雲端運算可以分成幾個層次的服務:基礎設施即服務(IaaS)、平台即服務(PaaS)和軟體即服務(SaaS)。若整合硬體設備,並分批給客戶使用,則是IaaS,這些公司如亞馬遜、IBM等。若打造程式開發平台或作業系統平台,讓客戶能在其上使用或開發應用軟體,則是PaaS,這些公司如Google、Yahoo及微軟等。若任何廠商或開發團隊開發出的軟體,能透過網際網路讓客戶使用,而不必讓客戶在其機器上安裝及運行軟體,則是SaaS。
在開源的PaaS中,我們使用Hadoop做為軟體平台,同時為了研究當中所提供的Hadoop分散式檔案系統(簡稱HDFS)的一些特性,於是設計一套FTP-ON-HDFS系統。該系統可視為一個把HDFS做為儲存設備的FTP,同時還能透過系統的網頁管理介面來管理可登入並使用此系統的FTP使用者其相關的FTP參數與HDFS參數。在與HDFS相關的參數中,我們發現檔案切割區塊大小及檔案複製數量和HDFS及整個系統對外的服務品質有關。因此,我們針對這兩參數做調整及實驗,歸納出一些與HDFS服務品質相關的結論。
然而,除了我們設計好的系統之外,透過FUSE掛載HDFS也能達到在本地端主機下指令也能存取遠端HDFS的功能,同時還能套用Linux系統上的權限管理來管理HDFS中各檔案的權限。於是,我們便做了透過FUSE下指令、FTP-ON-HDFS daemon及Hadoop FS sell command存取遠端HDFS三者之效能評測,以驗證當中的優缺點。
Abstract
Cloud computing is pervasive in our daily life. For instance, I usually use Google’s GMail to receive e-mail, Google Document to edit documents online and Google Calendar to make my daily schedule. We can say that Google provides a “Platform as a Service (PaaS)”, which delivers a computing platform as a service, and the platform sustaining lots of cloud applications such as I mentioned above.
However, the cloud computing platform of Google is private: we cannot trace its source code and make cloud applications on it! Fortunately, there’s an open source project supported by Apache named “Hadoop”, which has a distributed file system which is very like Google File System (GFS) called “Hadoop distributed file system (HDFS)”. In order to observe the properties of HDFS, we design and implement a HDFS-based FTP server system called FTP-ON-HDFS system, say, a FTP server whose storage is HDFS. There are a web-console for FTP administrator, a FreeRADIUS server and a MySQL database for user authentication, a NameNode daemon on its machine, a SecondaryNameNode on its machine and five DataNode daemons and on five different machines in FTP-ON-HDFS system. Our FTP-ON-HDFS system can tune two QoS parameters: “data block size” and “data replication”. Then, we tuned “data block size” and “data replication” in our system and compared its performance with Hadoop File System (FS) shell command and normal vsftpd.
On the other hand, FUSE can mount HDFS from remote cluster to local machine, and make use of the permission of the local machine to manage HDFS. So, we compared the performance of FUSE with HDFS (FUSE-DFS) and our FTP-ON-HDFS system.
目次 Table of Contents
致謝 1
中文摘要 2
ABSTRACT 3
圖目錄 4
表目錄 6
目錄 7
第1章 序論 9
1.1 研究背景 9
1.2 研究動機與目的 10
1.3 研究方法與步驟 10
1.3.1 研究方法 11
1.3.2 研究步驟 12
第2章 系統設計與實作說明 13
2.1 系統架構設計 13
2.2 系統實作說明 14
2.2.1 Hadoop叢集環境參數設置 14
2.2.2 管理登入FTP使用者網頁介面 17
2.2.3 FTP-ON-HDFS Daemon實作 20
2.3 服務品質比較與測試 32
2.3.1 比較透過Hadoop shell command、FUSE及FTP-ON-HDFS Daemon三者存取HDFS之效能 32
2.3.2 比較一般FTP Daemon與FTP-ON-HDFS Daemon二者存取檔案之效能 37
2.3.3 比較HDFS兩參數-「檔案區塊大小」,「檔案複本數」相對於使用者存取的檔案大小之服務品質 38
2.3.4 結論與未來展望 41
參考文獻 42
參考文獻 References
[1] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung, “The Google File System”, in 19th ACM Symposium on Operating Systems Principles, Lake George, NY, October, 2003.
[2] HDFS Architecture (version 0.20.0, http://hadoop.apache.org/common/docs/r0.20.0/hdfs_design.html)
[3] Apache Hadoop Java API (version 0.20.2, http://hadoop.apache.org/common/docs/current/api/overview-summary.html)
[4] Apache FtpServer Core API (version 1.0.0-M3, http://www.jarvana.com/jarvana/view/org/apache/ftpserver/ftpserver-core/1.0.0-M3/ftpserver-core-1.0.0-M3-javadoc.jar!/overview-summary.html)
[5] FUSE (http://fuse.sourceforge.net/)
[6] Mounting HDFS (http://wiki.apache.org/hadoop/MountableHDFS)
電子全文 Fulltext
本電子全文僅授權使用者為學術研究之目的,進行個人非營利性質之檢索、閱讀、列印。請遵守中華民國著作權法之相關規定,切勿任意重製、散佈、改作、轉貼、播送,以免觸法。
論文使用權限 Thesis access permission:校內公開,校外永不公開 restricted
開放時間 Available:
校內 Campus: 已公開 available
校外 Off-campus:永不公開 not available

您的 IP(校外) 位址是 18.223.32.230
論文開放下載的時間是 校外不公開

Your IP address is 18.223.32.230
This thesis will be available to you on Indicate off-campus access is not available.

紙本論文 Printed copies
紙本論文的公開資訊在102學年度以後相對較為完整。如果需要查詢101學年度以前的紙本論文公開資訊,請聯繫圖資處紙本論文服務櫃台。如有不便之處敬請見諒。
開放時間 available 已公開 available

QR Code