《并行計算集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用》由會員分享，可在線閱讀，更多相關(guān)《并行計算集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用（41頁珍藏版）》請在裝配圖網(wǎng)上搜索。

1、單擊此處編輯母版標題樣式,單擊此處編輯母版文本樣式,第二級,第三級,第四級,第五級,*,Internet,Storage,Element,ComputingElement,Worker Node,User Interface,Replica Catalog,+,Replica Manager,Resource Broker+Information Index,Certification Authority,User Interface,TESTBED SITE 1,TESTBED SITE 2,Job Status:,Front End,Certificate Server,TESTBED S

2、ITE 3,Graphics by Aldo Stentella,并行計算、集群與網(wǎng)格技術(shù)在虛擬天文臺中應(yīng)用探討,內(nèi)容大綱,并行計算技術(shù),集群及相關(guān)技術(shù),網(wǎng)格計算,如何滿足不斷增長的計算力需求？,用速度更快的硬件，也就是減少每一條指令所需時間,優(yōu)化算法（或者優(yōu)化編譯）,用多個處理機,(,器,),同時解決一個問題,并行計算,串行計算與并行計算,并行的層次,程序級并行,子程序級并行,語句級并行,操作級并行,微操作級并行,并行粒度,粗,細,共享內(nèi)存與分布式內(nèi)存,P=,處理器,M=,內(nèi)存,S=,網(wǎng)絡(luò)交換設(shè)備,P,M,P,P,M,P,M,S,局部共享內(nèi)存,S,P,M,P,P,M,P,Node,Node,

3、實現(xiàn)并行計算的常見方法,1,、多線程程序,2,、基于,OpenMP,的并行程序,3,、基于消息傳遞的并行程序,PVM,MPI,XPVM,XPVM,并行計,算,算環(huán)境,簡,簡介,PVP,（,ParallelVectorProcessor,）,使用專,用,用向量,處,處理器,銀河,I,，,CrayT90,，,NEC,的地球,模,模擬器,。,。,SMP,（,SymmetricMultiprocessor,）,同一主,板,板上多,個,個處理,器,器可以,等,等同訪,問,問共享,存,存儲器,、,、,I/O,設(shè)備和,操,操作系,統(tǒng),統(tǒng)服務(wù),IBMRS6000,。,Cluster,由很多,連,連接在,一,一

4、起的,獨,獨立計,算,算機組,成,成，像,一,一個單,獨,獨的集,成,成的計,算,算機一,樣,樣協(xié)同,工,工作,集群的,節(jié),節(jié)點可,以,以是,SMP,（或者,PVP,）,Cluster1350,，藍色,基,基因。,。,。,在虛擬,天,天文臺,中,中的應(yīng),用,用情形,處理實,時,時性要,求,求很高,的,的大量,觀,觀測數(shù),據(jù),據(jù),觀測數(shù),據(jù),據(jù)的并,行,行可視,化,化處理,并行數(shù),據(jù),據(jù)挖掘,并行數(shù),據(jù),據(jù)服務(wù),提,提供,。,。,。,集群技,術(shù),術(shù),集群概,念,念最早,由,由,IBM,于,20,世紀,60,年代提,出,出,集群一,般,般由高,速,速網(wǎng)絡(luò),連,連接起,來,來的高,性,性能工,作,作

5、站或,PC,機組成,。,。集群,在,在工作,中,中像一,個,個統(tǒng)一,的,的整合,資,資源，,所,所有節(jié),點,點使用,單,單一界,面,面。,集群,NotaClusterCluster,集群計,算,算系統(tǒng),體,體系結(jié),構(gòu),構(gòu),集群相,關(guān),關(guān)技術(shù),網(wǎng)絡(luò)層,網(wǎng)絡(luò)互,聯(lián),聯(lián)結(jié)構(gòu),、,、通信,協(xié),協(xié)議、,信,信號技,術(shù),術(shù)等。,節(jié)點機,及,及操作,系,系統(tǒng)層,高性能,PC,或工作,站,站、分,層,層或基,于,于微內(nèi),核,核的操,作,作系統(tǒng),等,等。,集群系,統(tǒng),統(tǒng)管理,層,層,資源管,理,理、資,源,源調(diào)度,、,、負載,平,平衡、,并,并行,I/O,、安全,等,等。,應(yīng)用層,并行程,序,序開發(fā),環(huán),環(huán)境、

6、,串,串行應(yīng),用,用、并,行,行應(yīng)用,等,等。,Cluster1350,Cluster1350,是,IBM,公司目,標,標定位,于,于高性,能,能計算,市,市場的,Linux,集群，,包,包括一,套,套完整,的,的解決,方,方案，,集,集成了,眾,眾多,IBM,與非,IBM,的先進,的,的軟硬,件,件技術(shù),，,，有其,特,特有的,技,技術(shù)優(yōu),勢,勢與強,大,大的服,務(wù),務(wù)支持,。,。,Cluster1350,邏輯結(jié),構(gòu),構(gòu),Cluster1350,節(jié)點硬,件,件、網(wǎng),絡(luò),絡(luò)和操,作,作系統(tǒng),(,天津大,學(xué),學(xué),IBM,中心）,管理節(jié),點,點,IBMeServerxSeries 345(1),計

7、算節(jié),點,點,IBMeServerxSeries 335(16),網(wǎng)絡(luò),千兆以,太,太網(wǎng),操作系,統(tǒng),統(tǒng),RedHat Linux 7.3,CSM,（,（ClusterSystemManagement）,CSM,是,IBM,公司開,發(fā),發(fā)，專,門,門用于,集,集群系,統(tǒng),統(tǒng)管理,的,的中間,件,件，在,Cluster1350,解決方,案,案集成,。,。,CSM,的設(shè)計,思,思想與,體,體系結(jié),構(gòu),構(gòu)來自,PSSP(IBMParallelSystem SupportProgramsfor AIX),與其它,一,一些開,源,源的集,群,群管理,軟,軟件。,還,還有一,些,些中間,件,件及技,術(shù),術(shù)

8、，雖,然,然不直,接,接為用,戶,戶服務(wù),，,，但構(gòu),成,成了,CSM,的不可,或,或缺的,基,基礎(chǔ)，,包,包括,RMC,、,SRC,、,RSCT,等。,CSM,Cluster1350系,統(tǒng),統(tǒng)管理,整個集,群,群由單,一,一結(jié)點,控,控制,所有結(jié),點,點的,開機、,關(guān),關(guān)機、,狀,狀態(tài)查,詢,詢,顯示遠,程,程控制,臺,臺,安裝操,作,作系統(tǒng),升級,(,安裝,),各結(jié)點,系,系統(tǒng)及,應(yīng),應(yīng)用軟,件,件,。,一個完,整,整的集,群,群只需,一,一套外,置,置輸入,/,輸出設(shè),備,備,(,鍵盤、,鼠,鼠標、,顯,顯示器,),Linux,集,集群上,可,可用的,任,任務(wù)調(diào),度,度系統(tǒng),Mosix,

9、（,Multicomputer OperatingSystemfor UnIX,）,可以自,動,動完成,節(jié),節(jié)點間,進,進程遷,移,移,需要重,新,新編譯,Linux,內(nèi)核,對用戶,來,來說是,透,透明的,PBS,（,PortableBatchSystem,）,由,NASA,的,Ames,研究中,心,心開發(fā),為了達,到,到集群,系,系統(tǒng)整,體,體上的,負,負載平,衡,衡，對,各,各個節(jié),點,點上的,任,任務(wù)進,行,行調(diào)度,，,，但不,進,進行節(jié),點,點間任,務(wù),務(wù)遷移,不需要,重,重新編,譯,譯內(nèi)核,集群上,的,的應(yīng)用,程,程序（,計,計算）,開,開發(fā),適于開,發(fā),發(fā)基于,消,消息傳,遞,遞的

10、并,行,行應(yīng)用,程,程序,可以使,用,用,PVM/MPI,步驟：,配置并,行,行計算,的,的編譯,與,與運行,環(huán),環(huán)境,主要是,rsh/ssh,設(shè)計、,編,編寫、,編,編譯程,序,序,使用,PVM/MPI,提供的,程,程序庫,及,及編譯,環(huán),環(huán)境,部署應(yīng),用,用程序,ftp,、,rcp,、,scp,、,CSM,、,NFS,、,GPFS,等方式,運行程,序,序,配置高,可,可用集,群,群,最大程,度,度地減,少,少服務(wù),中,中斷，,而,而不是,容,容錯。,Hearbeat,LVS,（,LinuxVirtual Sever,）,IBM,的,Tivoli,和,WebSphere,系列軟,件,件,He

11、artbeat,集,集群,LVS,集,集群,集群在,虛,虛擬天,文,文臺中,的,的角色,高性能,計,計算,構(gòu)成虛,擬,擬天文,臺,臺網(wǎng)格,環(huán),環(huán)境中,強,強有力,的,的計算,資,資源,高可用,服,服務(wù),在網(wǎng)格,環(huán),環(huán)境中,提,提供穩(wěn),定,定、可,靠,靠的數(shù),據(jù),據(jù)、計,算,算、調(diào),度,度等服,務(wù),務(wù),網(wǎng)格計,算,算,“,Resourcesharing&coordinatedproblemsolving in dynamic,multi-institutionalvirtualorganizations”,OnDemand,理想的,網(wǎng),網(wǎng)格,理想的,網(wǎng),網(wǎng)格,Thepictureabovedes

12、cribesaDataGridtestbed withthreesitesand aCertificationAuthority.Forspacereasons we do notshow allthemachinesofeachsite.,Theuserrequestsa certificate to theCertificateAuthorityweb front-end.,Thecertificateisproducedand signedbytheCertificateServer.,Theusergets thecertificate.,Nowthattheuserhashis/he

13、rcertificateinstalledonhis/herUser Interface,he/she cansubmithis/herjobrequests.,Aftercreatinga proxy processwithtemporarycredentials(“grid-proxy-init,”,”command),theusersubmits his/herjob requesttothe Resource Broker.,Submitted,TheResourceBroker queriesthe ReplicaCatalogandInformationIndextofindsui

14、tableresources(storagespace,dataand computingpower).,Waiting,The Resource Brokerselects the resources.,Ready,The Resource Brokersubmits the jobto the selected Computing Element(s).,Scheduled,The Computing Element deliversthejob to itsWorker Node(s),which will dotherealwork.,Done,Output Ready,The out

15、putis movedto the ResourceBroker,The user gets his/her output,Cleared,網(wǎng)格計算環(huán),境,境示例,Grid,WAN,Cluster,Grid,SMP,Grid,SMP,Grid,Cluster,UI/API,Grid,LAN,Grid,SMP,Grid,SMP,Grid,SMP,Grid,Cluster,Cluster,Cluster,SMP,Grid,Cluster,Grid,Grid,Grid,LAN,SiteA,SiteB,SiteC,UI/API,Grid,UI/API,Grid,LAN,結(jié)束語,虛擬天文臺,將,將構(gòu)筑于網(wǎng),格,格環(huán)境之上,集群將構(gòu)成,網(wǎng),網(wǎng)格環(huán)境中,強,強有力的計,算,算與服務(wù)支,撐,撐平臺,并行計算將,為,為具體事務(wù),處,處理提供技,術(shù),術(shù)與手段上,支,支持,Thanks!,演講完畢，,謝,謝謝觀看！,