前言:想要寫出一篇令人眼前一亮的文章嗎?我們特意為您整理了5篇計算機并行處理技術范文,相信會為您的寫作帶來幫助,發(fā)現(xiàn)更多的寫作思路和靈感。

關鍵詞:電力系統(tǒng)分析計算并行處理分 布式處理
中圖分類號:F470.6 文獻標識碼:A
引言:
并行處理是一種極有發(fā)展前途的技術。復雜故障計算是電力系統(tǒng)仿真計算中最重要、計算量最大的部分之一,己經(jīng)成為大型電力系統(tǒng)實時仿真的瓶頸。由于求解故障端口間等值阻抗的復雜性, 傳統(tǒng)方法不適用于并行處理。作者提出了一種可用于大型電力系統(tǒng)數(shù)字仿真的復雜故障并行計算方法。算法中采用了故障處理局部化、降維網(wǎng)絡方程的構造和線性方程組并行處理等多種技術, 以減少并行計算量和通訊量。
1 并行處理技術概述
并行處理僅有不足20 年的歷史, 是半個世紀來在微電子、印刷電路、高密度封裝技術、高性能處理機、存儲系統(tǒng)、設備、通信通道、語言開發(fā)、編譯技術、操作系統(tǒng)、程序設計環(huán)境和應用問題等研究和工業(yè)發(fā)展的產(chǎn)物。并行處理已成為現(xiàn)代計算機的關鍵技術之一, 并以不同的方式, 在不同的級別上滲透到其他應用領域。
計算機應用可以歸納為向上升級的4 類: 數(shù)據(jù)處理、信息處理、知識處理和智能處理。無論是哪種處理, 都具有能同時進行運算或操作的特性, 稱為并行性。并行性在不同的處理級別中可表現(xiàn)為多種形式, 如先行方式, 流水方式, 向量化、并發(fā)性、同時性、數(shù)據(jù)并行性、劃分、交叉、重疊、多重性、重復、時間共享、空間共享、多任務處理、多道程序、多線程方式和分布式計算。開發(fā)并行性的目的是為了能用并行處理來提高計算機的求解效率。并行處理是通過兩個或多個處理器以及處理器之間的通信系統(tǒng)的協(xié)作完成問題的求解。它著重于發(fā)掘被求解問題中的并行性, 使其達到較高的級別。
分布式處理是利用計算機網(wǎng)絡來實現(xiàn)并行處理的一種技術。網(wǎng)絡中各計算機以并行方式共同完成某項事務處理, 或?qū)⒁粋€大處理流程分開由各點計算機處理, 在網(wǎng)絡內(nèi)各計算機彼此能相互存取信息和尋址, 多個計算機同時工作這一點對用戶來說是透明的。
并行處理技術是硬件、軟件、語言、算法、性能評價等多方面技術的綜合??梢苑譃? 并行系統(tǒng)結(jié)構、并行算法、并行操作系統(tǒng)、并行語言及其編譯系統(tǒng)等。
并行系統(tǒng)結(jié)構研究以何種方式將眾多的處理機與存儲系統(tǒng)、1/ 0 系統(tǒng)組成一個完整的并行處理系統(tǒng)的技術問題, 如硬件的器件和互聯(lián)拓撲結(jié)構的選擇, 同步通信機制的設置, 以及并行軟件的配置等。并行操作系統(tǒng)用于支持并行處理, 實現(xiàn)進程(或線程) 間的通信和負載均衡等問題。目前并行操作系統(tǒng)主要有多處理機并行操作系統(tǒng)和多計算機操作系統(tǒng)。
2 并行處理技術在電力系統(tǒng)中的應用
2.1 在潮流問題中的應用
潮流問題描述了電力系統(tǒng)的穩(wěn)態(tài)情況, 因而潮流公式或經(jīng)過一些修改的潮流公式是優(yōu)化潮流和暫態(tài)穩(wěn)定等重要問題的基本成分。一個有效的潮流并行化方法同樣也會有助于加快其它問題的求解, 因而早期關于并行處理在電力系統(tǒng)中應用的研究主要集中于并行化潮流問題的求解上。雖然問題并沒有解決, 但近年來關于這方面的報道明顯減少了。
潮流計算是求解一組由潮流方程描述的非線性代數(shù)方程。傳統(tǒng)的串行解法充分利用了稀疏矩陣技術、三角分解前代/ 回代技術、節(jié)點優(yōu)化編號技巧和快速分解法, 使得潮流計算已經(jīng)能夠在線運行, 從而大大減小了并行化潮流計算的動力。
已有的并行化潮流計算的許多工作都集中在并行化三角分解、前代/ 回代上, 如: 通過對矩陣的重新組合分塊來發(fā)掘并行性; 降低由最大因子路徑長度決定的順序執(zhí)行步數(shù); 采用適合于向量機的向量化算法; 多重因子分解方案和稀疏逆因子方案; 基于電力系統(tǒng)運行模式及人工神經(jīng)網(wǎng)絡的潮流并行算法; 利用超立方體結(jié)構尋找穩(wěn)態(tài)穩(wěn)定大矩陣的特征值和特征向量。在超立方體結(jié)構并行機上的一個實踐表明, 快速分解牛頓潮流法的并行算法可以獲得近似10 的加速比。在B al a nc e 和A li a nt 共享內(nèi)存并行機上, 松弛牛頓法也可以獲得幾乎相同的加速比腳。
2. 2 在電力系統(tǒng)暫態(tài)穩(wěn)定中的應用
電力系統(tǒng)暫態(tài)穩(wěn)定分析需要求解描述旋轉(zhuǎn)運動的時變微分方程和描述電網(wǎng)的代數(shù)方程, 這組微分代數(shù)方程(D A E ) 具有多種非線性, 數(shù)值方法中的逐步積分法被用來獲得時域解。如果通過并行處理技術, 能極大地提高速度, 在線暫態(tài)穩(wěn)定分析也將具有很好前景。
將暫態(tài)穩(wěn)定問題并行化有兩個途徑: 1. 將系統(tǒng)的變量分組, 稱為( 變量) 空間并行化; 2.使幾個時間段可以同時求解, 稱為時間并行化。非常明顯的空間并行化是將微分方程分解成每個發(fā)電機一組的多個方程組, 而由代數(shù)方程提供它們之間的藕合。時間上的并行是形成每個時間段的牛頓方程, 然后同時求解。龍格庫塔法和隱式積分法也被并行化過, 但問題的分解和隨之而來的松弛會產(chǎn)生許多新的變量, 使求解復雜化。有的先將網(wǎng)絡方程分解, 然后在微分方程或差分化的方程組上實施松弛法, 如對微分方程實施的波形松弛法。有的將差分化的微分方程和代數(shù)方程一起, 對每一個系統(tǒng)變量在所有的時間段中通過皮卡德( Pi ca rd ) 松弛法分解并同時求解, 從而提供在時間和空間上最大程度并行化的方法。有的在頻域中將暫態(tài)穩(wěn)定問題向量化以獲得并行性。上述方法的共同困難是收斂性較差, 通常要經(jīng)過更多的迭代次數(shù)才能收斂, 有時甚至難以收斂。
對暫態(tài)問題的細粒度并行化, 也遇到了許多困難, 所獲得的效果不很理想。為此粗粒度的并行化也被研究過, 如通過同時計算在不同節(jié)點上的故障來并行化, 當S Y R E IJ 穩(wěn)定計算程序在一個16 節(jié)點的超立方體計算機上實現(xiàn)時, 可以獲得一個數(shù)量級的加速比。與之相似的是在一個基于D O S 共享內(nèi)存的多處理機上的實驗也表明, 多區(qū)域可靠性計算、采用蒙特卡洛法的水電發(fā)電費用仿真和針對不同故障的矯正方案計算, 是可以被高效并行化的。
3 對并行處理在電力系統(tǒng)應用的若干看法
3.1 充分利用已有的分解/ 聚合技術
在并行處理成為一個研究熱點之前, 已經(jīng)從時間和存儲角度出發(fā), 針對電力系統(tǒng)的一些問題開發(fā)了分解/ 聚合的方法, 即將大問題分解, 在串行機上分別求解, 然后聚合得出整個問題的解。所以在并行處理中, 應充分利用這些已有的分解/ 聚合技術, 對所要求解的大問題進行合理的分解, 調(diào)節(jié)子問題間的禍合度、相關性, 使整個問題的求解效率最高。
3.2 結(jié)合問題本質(zhì)選擇合理的并行粒度
由以上分析可知, 在電力系統(tǒng)基本問題的數(shù)學結(jié)構中, 并沒有顯著的內(nèi)在的并行性。開發(fā)細粒度的并行算法(如在潮流問題中和電磁暫態(tài)問題中), 難度很大。并行計算理論、并行處理系統(tǒng)(硬件、語言、編譯器)等方面的不成熟, 也為開發(fā)細粒度的并行算法造成了障礙。而類似于在暫態(tài)穩(wěn)定分析中, 對不同算例計算的并行; 能量管理系統(tǒng)中, 基于功能劃分的并行; 系統(tǒng)規(guī)劃中, 基于不同方案的并行等, 都是在粗粒度上的并行, 各并行子問題間的相關性很少或沒有相關性, 從而可以獲得很高的并行加速比, 并能充分利用現(xiàn)有的網(wǎng)絡資源、計算機資源、軟件資源,使系統(tǒng)的性能價格比較高。
3.3 加強測試與評估
以往的研究大部分都集中在并行算法的開發(fā)上, 算法在并行處理系統(tǒng)上的測試很少, 僅有的測試結(jié)果并不很理想, 在并行加速比的強壯性方面, 也并未提供有價值的信息。實際上, 計算的效率取決于并行算法對并行處理系統(tǒng)的適應程度。對于一個特定問題的一種并行化方案, 必須在實際的并行處理系統(tǒng)上對大量不同的算例進行測試、評估。
3.4 考慮生產(chǎn)的實際需要
并行處理的根本目的是以盡可能小的代價獲得盡可能高的生產(chǎn)效率。并行處理的開發(fā)要依據(jù)生產(chǎn)需要, 并不是任何問題都需要或適合于并行處理。由于單個處理器能力的提高, 使得某些問題采用串行算法在一臺計算機上也能滿足要求, 因而對這些問題進行并行化研究的實用價值就很小。
4 結(jié)語:
并行處理技術的發(fā)展, 為解決電力系統(tǒng)問題提供了一個頗具吸引力的機會。但由于并行處理技術的研究剛剛起步, 并行處理的理論、軟硬件技術和有關并行處理應用的實踐經(jīng)驗, 都還在不斷地完善之中, 如何有效地將并行處理技術同電力系統(tǒng)問題結(jié)合起來, 滿足電力生產(chǎn)的需要, 需要認真考慮。本文首先簡述并行處理及其分布式實現(xiàn), 接著對并行處理在電力系統(tǒng)中的應用進行了分析。
參考文獻:
1.黃凱.高等計算機系統(tǒng)結(jié)構— 并行性、可擴展性、可編程性. 清華大學出版社, 廣西科學技術出版社, 1 9 9 5
2.張德富. 并行處理技術. 南京大學出版社, 1 9 9 2
關鍵詞:供應鏈軟件模型;VMI架構;Map/Reduce;Agent
中圖分類號:TP315
1 相關工作
1.1 云計算與Map/Reduce
隨著互聯(lián)網(wǎng)信息化和數(shù)據(jù)量的快速發(fā)展,各領域需要處理的數(shù)據(jù)規(guī)模已上升為海量級,同時對數(shù)據(jù)的處理效率也提出了更高的要求。在這種情況下,“云計算”應運而生。云計算是由大量計算機組成的集群,分布式資源虛擬化資源池模式,用戶能夠以并行通信的方式按需求獲取計算能力、存儲空間和網(wǎng)絡服務,從而提供高性價比的商業(yè)計算模式。云計算的特點是海量的分布式數(shù)據(jù),大量的并行處理任務,而傳統(tǒng)的并行編程模型,如MPI在使用過程中具有一定的局限性,客觀上需要一種新型并行編程框架。Map/Reduce正是一種使用方便的并行編程框架,可以很大程度上降低并行系統(tǒng)的設計難度,用戶在處理大規(guī)模數(shù)據(jù)時可以把主要精力集中在Map函數(shù)和Reduce函數(shù)設計上,而不需要關注并行計算系統(tǒng)的底層實現(xiàn)問題。正是基于這些特性Map/Reduce已成為云計算平臺上的主流編程模型[1,2]。
1.2 供應鏈與VMI庫存管理
供應鏈管理是一個復雜的系統(tǒng)過程,通過控制企業(yè)之間資源的流動,完成物料的采購、物品的生產(chǎn)、庫存管理到商品銷售到終端銷售者手中這一完整的工作流程。供應鏈管理通過對企業(yè)資源流動的控制,對降低企業(yè)成本、提高生產(chǎn)經(jīng)營效益具有重要意義。庫存管理是供應鏈管理的重要環(huán)節(jié),是企業(yè)生產(chǎn)、計劃和控制的基礎。為降低企業(yè)庫存成本各種庫存管理模式應運而生,其中以供應商庫存管理(Vendor Managed Inventory,VMI)最為普遍。VMI由用戶和供應商共同協(xié)商制定庫存控制協(xié)議,把用戶庫存的決策權交由供應商,客戶從庫存成本中解放出來;供應商根據(jù)零售商的反饋的銷售信息以及現(xiàn)有庫存水平預測市場的需求變化,以及時調(diào)整生產(chǎn)計劃和采購計劃,減少庫存量積壓問題,靈活的響應市場需求變化[3]。
1.3 工作流過程管理
工作流是一個綜合的活動,指一類能夠完全自動執(zhí)行的經(jīng)營過程,根據(jù)一系列過程規(guī)則,將文檔、信息或任務在不同的執(zhí)行者之間進行傳遞與執(zhí)行[4,5]。工作流技術是工作流管理系統(tǒng)的核心,通過對業(yè)務過程的建模,實現(xiàn)工作流指令的自動執(zhí)行,完成對工作流過程的控制。工作流管理技術能夠?qū)崿F(xiàn)對用戶業(yè)務活動的管理,但是對于涉及多用戶的交互活動缺少適應性,引入Agent技術則可以降低工作流耦合度,同時實現(xiàn)企業(yè)之間信息的靈活傳遞。
1.4 結(jié)合的必要性
供應鏈的本質(zhì)是促進各類型企業(yè)之間資源利用的合理化以及業(yè)務流程的規(guī)范化,使用更低的成本滿足供應鏈各節(jié)用戶的需求。隨著云計算服務的蓬勃發(fā)展,供應鏈的全球化運營已是大勢所趨[6]。基于云平臺,服務供應商不需要為每個商業(yè)伙伴開發(fā)獨特的解決方案,用戶能夠以更低軟硬件投資獲得更高效的供應鏈服務,而且基于規(guī)?;?,可以降低中小型企業(yè)供應鏈系統(tǒng)部署的門檻[7]?;谠朴嬎闫脚_的供應鏈軟件架構研究是一個嶄新的方向,具有重要的研究意義。庫存管理是企業(yè)生產(chǎn)、計劃和控制的基礎,是供應鏈管理系統(tǒng)的重要子系統(tǒng),目前常見的VMI解決方案是基于多Agent的工作流的庫存管理,VMI庫存系統(tǒng)的工作流程可以描述為通過訂單驅(qū)動企業(yè)業(yè)務活動,而對多個用戶訂單處理具有一定的并行處理空間,因此可以結(jié)合Map/Reduce并行編程框架設計基于并行處理的VMI庫存管理系統(tǒng)。
2 基于云計算的供應鏈系統(tǒng)架構
傳統(tǒng)的供應鏈模型由原材料供應商、制造商、分銷商、零售商和終端客戶構成,物流、資金流和信息流在供應鏈上下游動態(tài)游動。供應鏈節(jié)點企業(yè)之間通常是異構的,企業(yè)的信息相對孤立,從云計算的角度來看這些構成了云服務的端需求。由傳統(tǒng)供應鏈軟件過渡到“云”端供應鏈的關鍵是傳統(tǒng)資源如何抽象為云端資源,所以基于云服務的供應鏈系統(tǒng)的關鍵功能是分布式資源的抽象與虛擬化、云計算服務的封裝與調(diào)度。從業(yè)務流程的角度來看供應鏈的云端轉(zhuǎn)化應包括數(shù)據(jù)的采集、資源整合、服務的定制、資源的調(diào)度等功能模塊。結(jié)合云計算與SOA架構模型,“云”端供應鏈系統(tǒng)架構自下而上可以描述為四層模型:物理資源層、虛擬資源池層、云服務層、SOA架構層,其中SOA架構層也可以分解為接口層與訪問層。
物理資源層是整個軟件體系架構中資源的物理實體,由供應鏈上異構的分布式數(shù)據(jù)源組成;通過各種掃描設備、傳感器把物理資源信息匯集到云平臺,實現(xiàn)供應鏈分布式物理資源的采集過程。資源池層是對物理資源的虛擬化封裝過程,通過接口屏蔽技術、數(shù)據(jù)格式轉(zhuǎn)換和語義解析將各種異構的物理資源封裝為可供全局訪問的云資源,并以透明一致的方式提供給平臺的上一層使用。服務層是“云”供應鏈體系架構的核心部分,是實現(xiàn)服務定制與管理的功能模塊,具體可以劃分四大部分,用戶管理、安全管理、資源管理、任務管理。其中任務管理是云端服務調(diào)度的核心,通過映射管理、任務調(diào)度、任務執(zhí)行實現(xiàn)供應鏈管理的核心功能,包括供應鏈的流程管理、資源整合、工作流執(zhí)行等核心服務。SOA架構層通過接口技術、服務技術降低軟件的耦合度,其中接口層為各類用戶提供統(tǒng)一的接口路徑,屏蔽了硬件細節(jié),為用戶提供接入、格式轉(zhuǎn)換服務。服務面向供應鏈上的企業(yè)用為,通過服務技術實現(xiàn)鏈上用戶通過云平臺各種服務請求。
3 基于并行系統(tǒng)的VMI庫存管理系統(tǒng)
3.1 VMI庫存管理工作流分析
隨著面向Agent的軟件工程的提出與進一步發(fā)展,Agent已經(jīng)成為一種開發(fā)復雜軟件的新方法。由于Agent是一個多線程的并發(fā)系統(tǒng),每個是松散耦合的結(jié)構,是用Agent技術可以增加系統(tǒng)的靈活性與健壯性[8]。供應鏈的工作流管理通常包括訂單管理、供需計劃管理、生產(chǎn)計劃管理、庫存管理、銷售管理和運輸管理等活動。供應鏈上各企業(yè)之間的交互主要通過一系列的訂單來銜接,如用戶訂單、采購訂單、運輸訂單等。根據(jù)這些活動特點和過程特性,基于的多Agent的供應鏈工作流管理模型,通常有工作流管理與Agent組成,其中Agent分為兩個邏輯層,工作流agent管理層、工作流Agent執(zhí)行層,每一層由系列的子Agent的構成。管理層Agent主要負責對計劃活動過程的控制,完成企業(yè)的計劃任務、控制任務;而執(zhí)行層Agent則是負責具體企業(yè)任務的執(zhí)行。
VMI庫存管理的特點是,補貨策略由用戶的請求及預測的消費需求共同決定,VMI的運作有兩個重要組成部分,需求預測和補貨策略。消費需求的預測需要供應商掌握用戶的銷售信息及庫存信息,庫存的實際決策者與擁有者轉(zhuǎn)變?yōu)楣?;而補貨策略則需要在供應商與用戶共同制定協(xié)議下由供應商來執(zhí)行?;谶@些分析,可以得出VMI供應商庫存管理系統(tǒng)領域需求框架可以展開為 :庫存協(xié)議維護、VMI庫存臺帳維護、庫存控制參數(shù)維護、托付訂單處理、連續(xù)補貨處理、交貨處理[9]。
VMI的主體工作流程可以描述為:托付訂單――托付訂單處理――連續(xù)補貨計劃――交貨處理,這一工作流體現(xiàn)了用戶需求的提出到供應商發(fā)貨這一整個過程。供應鏈系統(tǒng)使用訂單來推動供上下游各企業(yè)之間的業(yè)務流程,而供應鏈上具有多個用戶,每個用戶都會不同的訂單請求,對這一系列訂單的處理的過程具有一定的并行處理空間。因此,可以使用基于并行原理的Map/Reduce模型,降低用戶的訂單處理的復雜度,提高訂單處理的效率。
3.2 VMI庫存管理并行化分析
一個基于Agent工作流的VMI庫存管理系統(tǒng)通常由系統(tǒng)層和實體層組成,實體層包括供應商實體Agent和零售商實體Agent。各零售商實體Agent會向服務器定期反饋銷售信息,工作流服務器控制供應商實體Agent的生產(chǎn)計劃,名字服務器用于實體Agent的注冊、初始化,供應商Agent和零售商Agent相互協(xié)商制定具體的庫存控制參數(shù),Agent工作流服務器處理需求預測和補貨計劃。其中零售商實體的托付訂單請求數(shù)據(jù)以及供應商實體生產(chǎn)計劃的分發(fā)數(shù)據(jù)給都需要通過并行工作單元處理。
以用戶的托付訂單為例,用戶對商品需求的托付訂單的形成是通過連續(xù)或定期檢查VMI臺帳系統(tǒng)來確定是否需要對用戶庫存進行補貨,同時也會依據(jù)用戶庫存的歷史消耗數(shù)據(jù)以及庫存控制參數(shù)來預測用戶對物品的需求,形成預測需求量,同時用戶也可以主動向供應商發(fā)出補貨訂單。零售商實體Agent通過托付訂單提出對某件商品的需求信息,工作流服務器處理托付訂單之后會根據(jù)商品信息將生產(chǎn)訂單分發(fā)給適合的供應商實體Agent,多個供應鏈實體之間的托付訂單請求與生產(chǎn)訂單分發(fā)的處理過程為并行化工作提供了天然的契合條件。供應鏈實體通過并行處理單元向Agent工作流服務器傳遞訂單信息,而并行處理單元則是使用Map/Reduce并行編程框架屏蔽了并行處理的底層細節(jié)。托付訂單的格式可以描述為以下形式:
托付訂單:(訂單號,物品編號,訂貨數(shù)量,優(yōu)先級,交貨日期,交貨地點……)。
對于Map/Reduce并行處理單元來說物品編號是關鍵字,商品數(shù)量可以作為的統(tǒng)計。訂單數(shù)據(jù)在Map/Reduce中均匹配為對的形式,即,K表示商品編號,V表示商品數(shù)量或者交貨日期等數(shù)據(jù)。對供應鏈訂單數(shù)據(jù)的處理流程可以按如下所示:
Map: list
Reduce: list
輸入數(shù)據(jù)塊的分割Split可以按照零售商的地理位置區(qū)域來劃分,分割后的數(shù)據(jù)塊經(jīng)過等數(shù)量的Map工作機按商品編號關鍵字統(tǒng)計訂貨數(shù)量產(chǎn)生中間結(jié)果List表,再經(jīng)過Reduce工作機對中間結(jié)果進行規(guī)約產(chǎn)生歸約后的訂單,最后把處理后的托付訂單交由Agent工作流服務器處理,由工作流服務器現(xiàn)有庫存信息以及控制控制參數(shù)確定后續(xù)的庫存管理計劃。
4 總結(jié)
企業(yè)信息化的發(fā)展必然會導致供應鏈軟件遷移到云平臺上,本文提出基于云服務平臺的供應鏈軟件架構模型具有一定的前瞻性,在基于多Agent工作流管理的VMI庫存管理系統(tǒng)中引入Map/Reduce編程框架為云計算在供應鏈中的具體應用提供了一種可選方案,在以后的研究中具有很大的參考意義。
參考文獻:
[1]梁爽.基于SOA的云計算框架模型的研究與實現(xiàn)[J].計算機科學與應用.2011,47(35)
[2]李成華,張新訪,金海,向文. Map/Reduce:新型的分布式并行并行計算機編程模型[J].計算機科學與工程,2011(33)
[3]杜昆.供應商庫存管理運作模式初探[J].物流管理與工程,2010(9).
[4]徐琪,徐福緣.面向過程的供應鏈工作流管理研究[J].計算機集成制造系統(tǒng),2003,9(2).
[5]羅海濱,范玉順,吳澄.工作流技術綜述[J].軟件學報,2000,11(7):899-907.
[6]Holger Schr?dl.Adoption of cloud computing in supply chain management solutions:a SCOR-aligned assessment,Web Technologies and Applications [C],2012:233-244.
[7]秦桂英,劉宇熹.基于云計算的供應鏈運營模式研究[J].上海理工大學學報,2013(3).
[8]張慶福.基于SOA的庫存管理軟件架構研究[D].南京航空航天大學,2010.12.
[9]袁立罡.VMI軟件架構及XUML研究[D].南京航空航天大學,2005,12.
[10]劉鵬.云計算[M].電子工業(yè)出版社,2010.
[11]王鵬.云計算的關鍵技術與應用實例[M].人民郵電出版社,2010
[12]田芳.工作流運行和調(diào)度算法研究[J].青海大學學報(自然科學版),2004(1):40-42.
在物聯(lián)網(wǎng)環(huán)境下,隨著各種異構網(wǎng)絡的接入,產(chǎn)生了各種異構的數(shù)據(jù),使物聯(lián)網(wǎng)應用程序開發(fā)變得更加困難,基于以上問題提出一種面向異構網(wǎng)絡的中間件,采用緩存機制實現(xiàn)對物聯(lián)網(wǎng)海量異構數(shù)據(jù)的存儲,同時引入過濾和并行處理的方法,有效地屏蔽了物聯(lián)網(wǎng)數(shù)據(jù)的異構性。
【關鍵詞】物聯(lián)網(wǎng) 中間件 緩存 過濾 并行處理
物聯(lián)網(wǎng)是一種建立在互聯(lián)網(wǎng)上的泛在網(wǎng)絡,物聯(lián)網(wǎng)技術的重要基礎和核心依然是互聯(lián)網(wǎng),在物聯(lián)網(wǎng)上的傳感器采集的數(shù)據(jù)需要通過各種有線和無線的網(wǎng)絡準確地傳遞出去。隨著物聯(lián)網(wǎng)及其應用的發(fā)展,網(wǎng)絡系統(tǒng)環(huán)境的復雜性也隨之增加,物聯(lián)網(wǎng)應用程序開發(fā)變得更加困難和復雜。由于物聯(lián)網(wǎng)技術與其應用密切相關,所以為滿足分布式異構環(huán)境的應用要求,實現(xiàn)各應用間的互操作和互通信,為物聯(lián)網(wǎng)提供一個統(tǒng)一的技術架構和標準體系顯得尤為重要。
中間件可以將數(shù)據(jù)過濾和處理等通用功能從所有的上層應用中分離出來,同時為上層應用提供一組通用的應用程序接口用于連接,為上層應用屏蔽底層因使用不同技術而帶來的差異,使得上層應用可以集中于服務層的開發(fā)。為了解決物聯(lián)網(wǎng)異構網(wǎng)絡與應用層的交互問題,提出利用物聯(lián)網(wǎng)中間件將異構網(wǎng)絡組件細節(jié)屏蔽起來,為物聯(lián)網(wǎng)應用程序開發(fā)人員提供一個透明捷徑的開發(fā)環(huán)境。
1 物聯(lián)網(wǎng)中間件模型
物聯(lián)網(wǎng)中間件實現(xiàn)異構網(wǎng)絡與應用系統(tǒng)之間數(shù)據(jù)傳輸、過濾、數(shù)據(jù)格式轉(zhuǎn)換,位于物聯(lián)網(wǎng)的網(wǎng)絡層與應用層之間。
物聯(lián)網(wǎng)中間件由網(wǎng)絡、數(shù)據(jù)總線和數(shù)據(jù)處理三個部分構成。網(wǎng)絡獲取各異構網(wǎng)絡的信息包括網(wǎng)絡協(xié)議、數(shù)據(jù)格式和網(wǎng)絡配置。數(shù)據(jù)總線實現(xiàn)對數(shù)據(jù)的解析以及數(shù)據(jù)的傳輸。數(shù)據(jù)處理層實現(xiàn)對異構數(shù)據(jù)的處理和過濾。如圖1所示。
1.1 海量數(shù)據(jù)緩存
物聯(lián)網(wǎng)的顯著特點是數(shù)據(jù)具有海量性,通過網(wǎng)絡傳輸?shù)拇罅繑?shù)據(jù)如果不進行緩存處理,可能會導致信息丟失。為了實現(xiàn)對異構網(wǎng)絡數(shù)據(jù)的緩存設計網(wǎng)絡層,同時采用樹形結(jié)構解決數(shù)據(jù)異構問題。
異構網(wǎng)絡在連入物聯(lián)網(wǎng)時,對各個異構網(wǎng)絡的網(wǎng)絡協(xié)議,數(shù)據(jù)格式進行記載,由網(wǎng)絡層實現(xiàn)對異構網(wǎng)絡信息的管理。數(shù)據(jù)解析模塊實現(xiàn)對異構網(wǎng)絡數(shù)據(jù)的解析,識別異構數(shù)據(jù)來自哪種類型的網(wǎng)絡,同時采用樹形結(jié)構對數(shù)據(jù)進行存儲。
1.2 數(shù)據(jù)過濾
數(shù)據(jù)處理與過濾被一致公認為是物聯(lián)網(wǎng)中間件的核心功能之一。因為從異構網(wǎng)絡獲得的數(shù)據(jù)十分巨大,真正對用戶有意義的數(shù)據(jù)卻不多。如果不將那些冗余的數(shù)據(jù)過濾掉,則會帶來三個方面的負擔:
(1) 網(wǎng)絡帶寬方面的負擔,因為需要傳輸大量的數(shù)據(jù)。
(2)數(shù)據(jù)處理方面的負擔,因為處理器需要處理大量的數(shù)據(jù)。
(3)數(shù)據(jù)存儲方面的負擔,因為數(shù)據(jù)庫需要存儲大量額外的數(shù)據(jù)。
中間件接收來自異構網(wǎng)絡的數(shù)據(jù),這些數(shù)據(jù)會存在冗余和錯誤。所以要對數(shù)據(jù)進行過濾,消除冗余數(shù)據(jù)。
1.3 數(shù)據(jù)并行處理
連入物聯(lián)網(wǎng)中的網(wǎng)絡多種多樣,網(wǎng)絡傳輸協(xié)議和數(shù)據(jù)格式各不相同,采用并行處理的方法,對不同網(wǎng)絡中的數(shù)據(jù)分開處理,根據(jù)網(wǎng)絡中的信息,對各異構網(wǎng)絡的數(shù)據(jù)處理器進行設置,將異構數(shù)據(jù)轉(zhuǎn)換成格式統(tǒng)一的數(shù)據(jù)。
2 結(jié)論
本文通過對物聯(lián)網(wǎng)異構網(wǎng)絡的分析,提出了面向異構網(wǎng)絡的物聯(lián)網(wǎng)中間件,基于物聯(lián)網(wǎng)數(shù)據(jù)的海量特性引入緩存機制,采用數(shù)據(jù)過濾的方法,有效地減少了無用數(shù)據(jù)的處理,同時采用并行處理策略,實現(xiàn)對異構數(shù)據(jù)的并行處理。
參考文獻
[1]WHITE S,ALVES A,RORKE D.Web logic event server:a lightweight,modular application server for event processing [C]//Proceedings of the Second International Conference on Distributed Event-based Systems.New York:ACM Press,2008:193-200.
[2]EMMERICH W.Software engineering and middleware:a roadmap [C]//Proceeding of the Conference on the Future of Software Engineering.New York:ACM Press,2008:117-129.
[3]秦滔.物聯(lián)網(wǎng)與RFID中間件探討[J].電腦與信息技術,2010.
[4]鄭樹泉,王倩,丁志剛.基于Web服務以物為中心的物聯(lián)網(wǎng)中間件的研究與設計[J].計算機應用,2013.
[5]沈蘇彬,范曲立,宗平,毛燕琴,黃維.物聯(lián)網(wǎng)的體系結(jié)構與相關技術研究[J].南京郵電大學學報,2009.
[6]譚云松,韓建軍.一種面向服務的物聯(lián)網(wǎng)中間件模型[J].計算機科學,2011.
[7]楊慧,丁志剛,鄭樹泉,黃卓.一種面向服務的物聯(lián)網(wǎng)中間件的設計與實現(xiàn)[J].計算機應用與軟件,2013.
【關鍵詞】計算機技術 改革 結(jié)構 空間
1 新時期計算機技術的發(fā)展趨勢
1.1 結(jié)構化
隨著科技的不斷發(fā)展,計算機技術也有所突破,從第一代電子管結(jié)構的計算機到第二代元件結(jié)構的計算機,一直到我們現(xiàn)在所有的計算機,計算機經(jīng)過了很多改革,當然,現(xiàn)今使用的計算機也不是最終的計算機結(jié)構,計算機技術的發(fā)展與應用還需要從計算機的結(jié)構上進行不斷的改革和發(fā)展。結(jié)構化是今后計算機改革必走之路,計算機的結(jié)構化主要包括計算機系統(tǒng)升級結(jié)構和計算機智能化結(jié)構等。由于計算機智能化的生產(chǎn)幾乎脫離了人為技術,因此在發(fā)展過程中要注意科學研究,尤其是計算機一些輔助設備更應該做到整體相融,這樣才能保證計算機技術以及與其相關的行業(yè)的發(fā)展。
1.2 空間化
計算機技術的發(fā)展屬于另一個空間的發(fā)展,展現(xiàn)出計算機技術的空間性是計算機發(fā)展的趨勢。因此,就計算機技術空間化的發(fā)展形態(tài)進行拓展,應對各個發(fā)展因素進行全面的分析,將技術進行更新以及簡化,進一步對計算機技術進行創(chuàng)新,使計算機技術不但要具有空間化,還具有技術操作的靈活性。
2 新時期下計算機技術的應用
2.1 多媒體的應用
多媒體主要包括視頻、聲音、圖片等,在與計算機技術結(jié)合之后,使多媒體以一種新相貌展現(xiàn)在人們眼前。計算機技術本身應有很多抽象的知識和概念無法表現(xiàn)出來的,而與多媒體結(jié)合使用之后,可以利用多媒體的視屏、聲音、圖片等將計算機技術的抽象內(nèi)容形象化的展現(xiàn)出來。在當今社會上,計算機技術與多媒體結(jié)合被應用到諸多領域,例如,教學、航天、通信、建設等,從發(fā)展形式上看,多媒體技術已成為新時期計算機技術中的重要組成部分。
2.2 數(shù)字處理的應用
計算機技術在數(shù)字處理中應用的也極為廣泛,計算機技術與數(shù)字處理技術是相輔相成的。并且計算機技術的應用會涉及到很多的數(shù)據(jù)、數(shù)字處理等功能,因此要與數(shù)據(jù)處理技術的結(jié)合應用才能實現(xiàn)數(shù)據(jù)、數(shù)字處理的功能,數(shù)字處理技術也可以說是新時期下計算機技術的基本,兩者結(jié)合的技術主要還表現(xiàn)在公式分析以及運算的能力。但是,在應用到數(shù)字處理技術時,對計算機的硬件技術以及CPU的使用率等結(jié)構的運算技術要求都是非常高的,同時這些結(jié)構也是計算機的重要組成部分。
2.3 半導體技術的應用
半導體技術主要是對半導體的集成度進行衡量的技術標準,而在新時期下的計算機技術的發(fā)展中,將逐漸的應用到半導體技術對半導體的集成進行衡量,有了計算機技術的加入使半導體的發(fā)展更加迅速,尤其是在儲存量較大的半導體生產(chǎn)中,表現(xiàn)的更為突出。
2.4 移動計算機技術的應用
計算機技術在移動計算機領域中也有所突破,與傳統(tǒng)的移動不便、受區(qū)域限制的計算機相比,現(xiàn)今的計算機不僅打破了區(qū)域的限制,在技術上也是傳統(tǒng)計算機遠遠達不到的,新時期計算機技術實現(xiàn)了計算機的微小化、靈活性等特點,是計算機領取發(fā)展中不可缺少的重要組成。
2.5 并行處理技術的應用
并行處理技能在與計算機技術結(jié)合之后,可以充分提高計算機的運行效率以及運行速度,可以實現(xiàn)計算機在同一時間內(nèi)進行多種不同形式的運算。并行處理技術在科技中得到廣泛的應用,尤其是分布式計算機系統(tǒng)以及共享存儲器的出現(xiàn),極大的推動了新時期計算機技術的發(fā)展。
3 新時期計算機技術的改革
3.1 教學模式改革
從教學角度上講,新時期計算機技術屬于一門新型的學科,不僅要求熟悉掌握相關的理論基礎知識,還需要達到相應的實踐審核標準,然后才能談新時期計算機技術的改革和創(chuàng)新的過程。但是,就目前來看,新時期計算機技術的教學模式還處于傳統(tǒng)的模式下,依舊存在很多問題,直接阻礙了計算機技術的發(fā)展創(chuàng)新與應用。因此,為實現(xiàn)新時期計算機技術的改革,需要從教學模式上進行改革,以理論性知識教學模式為教學基礎,在這個基礎上結(jié)合與互動式學習法進行新時期計算機技術多樣化的教學模式,實現(xiàn)最佳的效果。
3.2 管理模式改革
從管理的角度上講,新時期計算機管理技術主要包括機房的管理和人員的管理。在引用新時期計算機技術實現(xiàn)管理模式操作的過程中,需要將管理經(jīng)驗擺在重要的位置,管理經(jīng)驗是貫穿整個管理的核心內(nèi)容是不容忽視的。另外,在機房管理中要對機房的數(shù)量、質(zhì)量以及相關的管理模式等進行嚴格的監(jiān)測,需保證各項都達到標準要求才可以。計算機技術的合理操作技術以及相關處理工作是管理模式中的重點,必須要保證有著現(xiàn)今的計算機管理技術的經(jīng)驗,才能提高新時期計算機技術管理運行的效率。
3.3 虛擬現(xiàn)實技術改革
所謂虛擬現(xiàn)實技術就是將仿真技術與模擬技術進行結(jié)合后的新技術。虛擬現(xiàn)實技術的開發(fā)過程中主要依靠數(shù)據(jù)信息處理技術對現(xiàn)實的情況進行數(shù)據(jù)的分析和運算過程,將分析的信息數(shù)據(jù)復制以后,可以實現(xiàn)計算機自行對相關事物進行處理的過程。隨著科技的不斷發(fā)展,新時期計算機技術也在不斷的發(fā)展,促使虛擬現(xiàn)實技術中的仿真技術也越來越合理化,同時,虛擬現(xiàn)實技術也在我國各個領取都得以廣泛的應用,不管是從生產(chǎn)設計上,還是在科技發(fā)展上都在一定程度上降低了人力成本以及生產(chǎn)成本,新時期計算機技術的改革為我國各個發(fā)展做出了重大的貢獻,也相應的促進了我國社會經(jīng)濟的不斷發(fā)展。
參考文獻
[1]翟希仁.論企業(yè)教育培訓中的計算機技術應用[J].現(xiàn)代商業(yè),2008(09).
[2]安雙一.計算機科學與現(xiàn)代教育技術[J]. 漯河職業(yè)技術學院學報,2007(04).
[3]李雪燕,朱倩.淺談計算機關鍵技術和移動技術的發(fā)展[J].電腦知識與技術,2010(04).
[4]鐘鵬.計算機的發(fā)展現(xiàn)狀和未來趨勢[J]. 科技風,2009(20).
[5]張蕾.全國首次計算機技術應用水平考試舉行[J].中國審計,2011(02).
[6]嚴智晶.論新時期技師院校計算機專業(yè)中創(chuàng)新人才的培養(yǎng)[J].科技經(jīng)濟市場, 2012(11).
GPU是圖形處理器,顯卡的處理中心,是中央處理器.CPU的浮點運算能力是關系到CPU的多媒體,3D圖形處理的效果。GPU是圖形處理器,顯卡的處理中心,是進行并行處理的,主要用于處理圖形方面的各種運算;CPU是電腦的處理中心,它與GPU工作的位置不一樣。CPU和GPU各有所長。CPU的資源多用于緩存,GPU的資源多用于數(shù)據(jù)計算。將融合得最佳情況來提高電腦的運行效率,提高更好的性價比,可以為我們帶來了新的選擇。
二、CPU的浮點運算技術
CPU的任務包括了3D顯示運算,浮點運算、內(nèi)存管理、輸入響應等處理工作。電腦中所有的軟件都涉及浮點運算,包括操作系統(tǒng)的這些功能。我們的普通的小軟件比如記事本,繪圖工具,都會出現(xiàn)浮點運算。浮點運算能力是關系到CPU的多媒體,3D圖形處理的一個重要指標。當我們用不同的電腦計算圓周率時,有些電腦的計算更加精確:或者同樣的場面在一臺電腦上的表現(xiàn)可能會非常的呆板、做作;而在另外一臺電腦上就會非常生動形象,這些都源于CPU內(nèi)部添加的“浮點運算功能”。浮點運算能力是關系到CPU的多媒體,3D圖形處理的一個重要指標。由于CPU的任務繁多,除了3D顯示之外,還要做內(nèi)存管理、輸入響應等非3D圖形處理工作,所以,在實際運算的時候,經(jīng)常出現(xiàn)顯卡等待CPU數(shù)據(jù)的情況,其運算速度遠跟不上今天復雜三維游戲的要求。隨著對圖像技術的要求不斷提高,CPU處理器的發(fā)展遇到了瓶頸,摩爾定律開始失效,然而計算機圖形學這個應用領域卻非常適合單指令多數(shù)據(jù)/線程(SIMD/SIMT)的并行化。因此,GPU在圖形及通用并行計算方面都取得了飛速的發(fā)展。
三、GPU的通用計算技術
GPU是圖形處理器一般說顯卡的處理中心,主要用于處理圖形方面的各種運算。GPU本身就是從CPU演變而來的分支。GPU是專門做T&L(光影轉(zhuǎn)換)運算的,同時也具備一定的浮點運算能力。原本奔騰4以前的時代,浮點運算一直都是CPU上在執(zhí)行的,而現(xiàn)在的系統(tǒng)和軟件發(fā)展,使需求的硬件配置越來越高,將浮點運算從CPU中分離出來,單獨作為一個單元管理。GPU運行非圖形程序時,需要依靠極其復雜的算法和較為曲折的流程,GPU有很多SP單元,并行處理能力很強,一塊顯卡中可能會有上百甚至上千個計算器(ALU)和累加器。GPU相當于專用于圖像處理的CPU,在處理圖像時它的工作效率遠高于CPU。02年GPU出現(xiàn)伊始,其浮點運算性能和當時的CPU差別并不大,之后的將近十年, 相對于傳統(tǒng)CPU中單處理器支持單個硬件線程的架構,基于眾核架構的GPU采用一個處理器支持多個硬件線程的做法。
四、CPU浮點運算和GPU的通用計算的技術差異
造成GPU和CPU根本差別的原因在于不同的目標需求:GPU假設運行其上的工作都是高度可并行的,而CPU需要同時很好的支持并行和順序操作。于是,CPU需要大的片上緩存和復雜的控制邏輯,GPU則利用多線程并行運行節(jié)省了片上的大緩存,同時針對一簇線程執(zhí)行同一套控制邏輯。因此,在高度并行化且數(shù)據(jù)規(guī)模巨大的應用下,GPU可以獲得很高的浮點運算性能,然而如果問題無法良好映射到某個合適的并行模型或當數(shù)據(jù)規(guī)模較小時,SIMT就無法發(fā)揮并行的優(yōu)勢,CPU與GPU之間的數(shù)據(jù)交換也會大大降低運算效率。不過,在CUDA4.0中已經(jīng)通過GPUDirect2.0得到了改進,CPU是中央處理器,計算機的核心,作為通用處理器,具有“全能性”,覆蓋的運算方面很廣,而GPU作為專門的圖形的核心處理器,具有非常強悍的單一運算能力,有高度的并行運算性。CPU是中央處理器,計算機的核心,作為通用處理器,具有“全能性”,覆蓋的運算方面很廣,而GPU作為專門的圖形的核心處理器,具有非常強悍的單一運算能力,有高度的并行運算性。
五、結(jié)束語
GPU已經(jīng)將成為超級計算機的發(fā)展趨勢;并將曾經(jīng)不可能實現(xiàn)的科學極限變?yōu)楝F(xiàn)實。GPU計算的發(fā)展前景一片光明。CPU和GPU各有所長。今后和未來,如果將二者組合,相互取長補短,將融合得最佳情況來提高電腦的運行效率,提高更好的性價比,為我們帶來了新的選擇。
參考文獻:
[1] 吳恩華.圖形處理器用于通用計算的技術、現(xiàn)狀及其挑戰(zhàn)[J].軟報,2004,15(10):1493-1504.
[2] Buyya, Rajkumar; Chee Shin Yeo, Srikumar Venugopal. Market-Oriented Cloud Computing: Vision, Hype, and Reality for Delivering IT Services as Computing Utilities (PDF). Department of Computer Science and Software Engineering, The University of Melbourne, Australia. 9. [2008-07-31].
[3] Nadathur Satis. Designing Ef cient Sorting Algorithms for Manycore GPU [J].IEEE International Parallel and Distributed Processing Symposium, May 2009,23(2) 655-660.
[4] Nadathur Satis. Designing Ef cient Sorting Algorithms for Manycore GPU [J].IEEE International Parallel and Distributed Processing Symposium, May 2009,23(2) 655-660.