云計算環(huán)境下大規(guī)模數(shù)據(jù)處理技術研究論文
隨著計算機技術和互聯(lián)網(wǎng)技術的發(fā)展和應用,網(wǎng)絡信息和數(shù)據(jù)量正在高速增長。傳統(tǒng)的并行計算、分布計算等方式由于各種限制,往往都難以滿足實際的計算要求;诖,采用基于云計算環(huán)境下的大規(guī)模數(shù)據(jù)處理技術,能夠有效的打破這些限制,從而實現(xiàn)更加高效、快速的數(shù)據(jù)計算。
1云計算環(huán)境下大數(shù)據(jù)處理模式
1.1大規(guī)模廉價計算平臺
利用虛擬化技術,能夠實現(xiàn)大規(guī)模廉價計算平臺,將存儲、應用程序、網(wǎng)絡、計算等資源作為虛擬化實體。對閑散的計算資源進行抽象,使之形成相互之間完全獨立的虛擬服務器實例,從而獨立的完成數(shù)據(jù)處理和計算。通過這種方式,就能夠實現(xiàn)底層硬件的虛擬化。構建可擴展計算節(jié)點資源池,并在其中實現(xiàn)集成管理虛擬計算流程和計算節(jié)點。這樣,大規(guī)模數(shù)據(jù)子處理任務就能夠完成實時遷移、資源轉換、系統(tǒng)監(jiān)控和任務部署。
建設大規(guī)模計算平臺的過程,也是云計算環(huán)境下大規(guī)模數(shù)據(jù)處理的一個重要步驟。具體來說,首先要對數(shù)據(jù)處理需要的資源進行參數(shù)化的配置,根據(jù)相應的要求進行定制。通過這一過程,用戶能夠獲取自己需要的資源。在不同的操作模式下為用戶提供參數(shù)服務。在設置參數(shù)完成定制之后,以此為基礎,在大規(guī)模數(shù)據(jù)處理的時候,部署存儲和計算資源,設定計算流程和數(shù)據(jù)處理方案。將相關參數(shù)設置信息在存儲和計算資源的配置文件當中進行寫入之后,以此對計算流程進行分配,從而在計算節(jié)點中啟動相關的資源,并且管理和部署計算節(jié)點的定制處理服務。
部署工具通過網(wǎng)絡連接到目標計算節(jié)點和計算流程,然后執(zhí)行大規(guī)模數(shù)據(jù)處理方案。然后根據(jù)相應的方案,通過代碼對存儲和計算資源進行分配和執(zhí)行。將部署在計算節(jié)點進行進行啟動,利用網(wǎng)絡在各個計算節(jié)點發(fā)送數(shù)據(jù)處理命令,從而完成調度和部署計算流程的工作。
1.2Map Reduce技術的支持
采用Map Reduce分布式和并行式編程模型,從而在模型內部對任務容錯處理、計算節(jié)點負載均衡、空間局部性優(yōu)化、并行任務調度等方加以實現(xiàn)。在Map Reduce的`開發(fā)過程中,只需對Map、Reduce兩個接口進行定義,通過計算機集群,對用戶編寫程序進行運行,拆分大規(guī)模數(shù)據(jù)集合,使之形成若干數(shù)據(jù)片段,從而得到一系列鍵值對[4]。然后向一個Map任務中分配一個數(shù)據(jù)片段,在Map Reduce框架下,向大規(guī)模計算集群中的節(jié)點進行子任務的分配。最后,結合得到的鍵值對進行計算,生成鍵值對集合,向Reduce當中進行輸出。
Reduce當中每一個Reduce任務,都會向二元組集合當中進行分配,輸入集合片段,運行Reduce函數(shù),輸出二元組鍵值對。如果數(shù)據(jù)處理任務失敗,也能夠自動重新進行計算。在大規(guī)模數(shù)據(jù)處理當中,是高度并行操作Map的,這一步驟對于大規(guī)模數(shù)據(jù)的高效處理來說,具有不可忽視的意義;谠朴嬎悱h(huán)境下,對規(guī)模數(shù)據(jù)信息大都能夠達到TB級別或GB級別。在長時間處理大規(guī)模數(shù)據(jù)的時候,如果發(fā)生數(shù)據(jù)處理任務失敗的情況,能夠防止發(fā)生計算任務重新執(zhí)行的情況。由于數(shù)據(jù)塊是被復制的,因此在容錯性方面,還會關系到負載均衡的情況。
2云計算環(huán)境下大數(shù)據(jù)處理的框架模型
在大規(guī)模數(shù)據(jù)資源和計算資源當中,對云計算技術、計算機網(wǎng)絡技術進行引入,建立大規(guī)模數(shù)據(jù)處理框架模型。主要包含了兩級結構,其一是虛擬資源體系、大規(guī)模廉價計算機集群,其二是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系、數(shù)據(jù)處理服務請求、以及相應的基礎架構。利用限制的計算機資源,對虛擬資源層和物理設備進行構建,從而形成最底層的物理資源,形成同構的數(shù)據(jù)處理資源池或接近于同構的數(shù)據(jù)處理資源池。在第二級結構當中,最為重要的就是軟件體系,能夠為大規(guī)模數(shù)據(jù)處理提供服務。采用Hadoop核心技術,對數(shù)據(jù)處理接口進行編寫。通過這種方式,在不同的學科和領域當中,能夠提供相應的大規(guī)模數(shù)據(jù)處理服務,從而使用戶能夠享有良好的計算平臺軟件支持。
在這一框架的設計與實現(xiàn)當中,對Hadoop分布式開源計算機框架進行了應用,對其中的HDFS分布式文件系統(tǒng),以及Map Reduce進行應用,從而對大規(guī)模數(shù)據(jù)處理業(yè)務進行處理和協(xié)調。在計算節(jié)點當中,對放置在Map Reduce任務進行映射,對大規(guī)模數(shù)據(jù)進行劃分,使之形成若干子塊,并對數(shù)據(jù)塊的數(shù)量、規(guī)格等參數(shù)加以掌握。通過HDFS功能,可以在每一個計算節(jié)點當中,對數(shù)據(jù)塊副塊進行智能的放置,同時針對各個節(jié)點,對具體的角色進行設計。在大規(guī)模數(shù)據(jù)處理的過程當中,需要利用Reduce函數(shù)、Map函數(shù)、以及相關的程序進行分布化處理。在Hadoop當中,為了對Map Reduce進行運行,提供了一個API進行支持。
3結論
在當前信息化的時代背景當中,計算機和網(wǎng)絡的廣泛應用,使得各個領域中的數(shù)據(jù)量和信息量與日倶增。而對于這些海量的大規(guī)模數(shù)據(jù)來說,利用傳統(tǒng)的數(shù)據(jù)處理方式,往往難以取得十分理想的處理效果。基于此,可在云計算環(huán)境下,開發(fā)和利用相應的大規(guī)模數(shù)據(jù)處理技術,以此來支持社會各個領域當中的大規(guī)模數(shù)據(jù)處理需要,從而數(shù)字化的時代當中,始終保持較高的工作效率和良好的工作效果。
【云計算環(huán)境下大規(guī)模數(shù)據(jù)處理技術研究論文】相關文章:
云計算環(huán)境下網(wǎng)絡技術研究論文11-07
分析論文:云計算環(huán)境下大數(shù)據(jù)06-26
云計算環(huán)境下的數(shù)據(jù)挖掘研究論文10-28
云計算環(huán)境下的網(wǎng)絡技術及其發(fā)展論文06-02
云計算環(huán)境下軟件開發(fā)架構應用與設計論文11-17
大數(shù)據(jù)環(huán)境下云會計的論文06-10