計算機存儲技術對GIS數據管理的應用論文
摘要:GIS信息數據更新速度較快,形成的數據量極為龐大,怎樣對海量數據進行高效化的管理成為當前的首要問題。本研究對多媒體存儲技術信息、虛擬化數據管理技術和分布式數據存儲技術進行介紹,分析了GIS數據管理中計算機存儲技術的應用。
關鍵詞:GIS數據管理;計算機存儲技術;庫存管理;應用
在社會不斷發展的過程中,GIS(地理信息系統)技術發揮了重要作用,而該技術的關鍵就在于數據信息,涉及搜集、加工、存儲及分析數據等相關工作。因為GIS數據來自各個方便,而且數據的形式也愈發多樣化,例如:音視頻、照片等,GIS借助多媒體數據可以將地理信息更加生動的展示出來,使用戶能夠更加便利、清晰的了解到地理信息。當前不同領域均應用到GIS技術,且應用不斷朝著復雜、繁瑣化的方向發展,由傳統桌面級逐步轉變為現在公眾型及企業級運用,實現了系統同數據共享的有機融合,能夠將更加專業和全面的地理信息服務提供給廣大用戶群體。
一、GIS數據管理中應解決的問題及對策
在應用存儲技術環節,需充分利用GIS數據的基本特點,這樣才能提高GIS存儲技術運用的精準性,還會降低系統出現安全問題的風險,進一步增強系統的拓展性,此外還需對以下事宜進行重點監測:
。ㄒ唬┙y一存儲相關數據信息
當前系統在面臨大量數據時無法達到存儲要求,因此需要運用GIS系統集中對相關數據進行處理,這是因為GIS系統結構復雜程度較高,并且內置了多種功能。相對于GIS系統,傳統服務器對數據的處理效率有所遲滯,面對爆炸式的信息數據增長時,傳統意義上的硬件設備無法滿足存儲需求,所以應對應引入配置磁盤陣列產品,全面提升存儲效率。
。ǘ⿲A繑祿挠行гL問
在ArcSDE的作用下,GIS的矢量數據會被系統直接存儲在GIS的矢量數據Oracle數據庫里。在這種存儲方式下,使用者必須對數據進行多次請求,所以在實際運用時應優先選擇FCSAN光纖存儲。光纖SAN具有諸多優勢,比如存儲速度快,并且延遲不顯著,全面提升矢量圖形數據的調用和訪問。在航拍以及衛星影像拍攝的場景下,其往往會產生巨大數據量,就要要求網絡所需寬帶具有一定穩定性,這樣才能降低并發沖突的發生概率,如果出現并發沖突則會直接導致數據延遲,影像系統的正常運轉。通常而言,這部分數據會通過文件形式被外界調用和提取,如果瞬時訪問量過大會引發中毒風險,所以在使用數據使應優先采取NAS存儲方式,這是因為該系統具有支持并發以及不占用服務器空間的明顯優勢,能夠降低數據被外界因素干擾的風險。
(三)對數據的有效備份
一般而言,數據都處于更新的狀態,因此需要及時對相關數據進行備份,對于城市地理信息系統而言,加強對信息數據的歸檔極具重要意義。傳統存儲方式主要又增加內部存儲空間和硬件容量,但日益無法滿足實際備份需求,以磁帶機為例,在正常工作模式下對數據備份效率低下,并且占有大量網絡資源。當前針對大量數據的備份事宜,往往通過網絡備份實現,但由于網絡不穩定會造成數據中斷,同時由于無法進行斷點續傳,此類備份形式效率仍然無法滿足實際需求,此外如果需要對備份數據進行編輯,甚至修改,容易引發數據不一致的情況。由此可見,針對不同類型數據的備份工作需匹配專業化的數據庫和軟件,明確備份工作流程,優先采取LANFree備份策略,定期向磁帶庫以及磁盤陣列推送相關數據。
二、多媒體存儲技術
。ㄒ唬┒嗝襟w屬性庫存儲管理方式
在媒體服務器內管理多媒體信息時,需要利用多媒體屬性庫存管理方法,完成信息的存儲操作。作為共享存儲設備,媒體服務器能夠對多媒體數據進行傳送,當多媒體數據文件接收請求被程序所發出后,媒體服務器就能夠執行打開操作,并對多媒體內容進行傳輸。特定媒體服務器能夠存儲多媒體信息,可以將空間對象屬性設定成多媒體數據的資源號,并歸為空間數據集屬性列,由此能夠實現多媒體屬性數據、空間數據二者的有效鏈接[1]。所以基于空間對象屬性字段,通過提取多媒體文件資源號的方式,就可以在媒體庫內對多媒體文件進行查看。借助流媒體服務,Windows媒體流服務器能夠對數據進行傳送。應于本地硬盤內下載文件,隨后運行文件,但是對于流媒體格式文件卻不同,在本地下載少數即可,運行和下載能夠同步開展,這種流傳輸途徑具有實時性的優勢,更具便利化的特點。當前主要應用順序、實時兩大流傳輸途徑,前者應用的是HTTP服務器,通常后者都會運用到流式傳輸媒體服務器,若開展實時流式傳輸,則要借助RTSP實時協議。在媒體服務器中存儲多媒體文件,利用流媒體服務,能夠有效開展網絡傳輸,為移植系統提供了便利,使多媒體屬性信息及GIS空間信息的運用獨立性大大增強。
。ǘ┒嗝襟w數據庫存儲管理方式
基于數據庫系統,利用多媒體數據庫存儲管理方法,能夠有效、統一化的管理多媒體數據。在數據庫內可以存儲二進制多媒體信息,利用關鍵字,能夠有效關聯空間對象。當先眾多GIS平臺可以運行有關解決方案,包括數據通路(ArcSDE)、SuperMapSDX+支持數據引擎,能夠利用關系型數據庫對空間數據進行保存,并將多媒體信息存儲字段構建于GIS專題屬性表內,包括:SQLServer數據庫中的image類型數據、在oracle數據庫中存儲BLOB類型的數據,并于該類型字段內對多媒體信息流化進行保存[2]?臻g數據、多媒體數據借助多媒體數據庫存儲管理方法,能夠開展統一化的管理、存儲操作。多媒體數據對于數據庫而言,能夠借助獨立屬性進行存儲,所以對于海量多媒體信息,都能夠進行存儲。
三、虛擬化數據管理技術
分布式服務器是云GIS的基本構成單位,需要以并行的方式將服務供應給使用者,還應有效的分析、處理不同的空間數據;谠蠫IS的ExtendedORDBMS及RDBMS+SDE架構體系下,系統的整體系統會因空間數據庫管理系統而降低,這就需要加快數據的更新速讀,并使隨機訪問速度得到進一步的改善,從而推動云GIS數據管理技術的發展。在線更新、離線運用兩大技術是運用虛擬化技術管理空間數據的主要類型,能夠使數據自動同步、遷移于不同層級和系統內[3]。此外,要想協同運行分布式服務器,就要利用云計算系統平臺管理技術,借此來開通、部署業務,并及時找到系統存在的問題,使系統能夠長期、穩定的運行。系統大規;倪\行還運用到智能及自動化技術,包括開源數據管理模塊HBase和BigTable數據管理技術。其中,作為分布式結構化數據存儲系統,Bigtable能夠對大量的數據信息進行處理,一般在眾多服務器內分布著PB級數據,對于多維度排序Map的存儲,Bigtable的顯著特點是持久性、分布式和稀疏化。子表服務器、主控服務器及客戶端程序共同組成了BigTable。借助時間戳、列/行關鍵字,能夠有效的索引Map,其下value均為未解析byte數組。在->string.BigTable下,根據行關鍵字的字典序,能夠對數據項進行排列,這是存儲BigTable數據的主要結構形式[4]。在記錄板中涵蓋了各行,一百個記錄板由各節點所管控。64位整數為時間戳,體現出各個版本的數據。針對Tablet位置信息,借助B+樹式的三層架構,BigTable可以執行存儲操作,基于其存儲架構下,RootTablet位置涵蓋于第一級Chubbyfile內,METADATATablets位置信息存在于RootTablet中,大量UserTable位置信息存在于各MetaDataT-ablets中。結合客戶存儲數據,可以在表格內存儲分割處理的數據,各表格可以細分為若干字表,并在子表服務器內進行保存。通過元數據表、Chubby系統,BigTable可以對系統管理系統開展維護操作。Root子表處在的子表服務器地址能夠通過Chubby下文件體現出來,全部BigTable下服務器所保存的子表信息均可以借助行記載的方式進行展示,元數據同樣能夠細分為若干字表,于子表服務器內進行保存。Root子表是第一個元數據子表,能夠對元數據表的子表位置信息進行記載,其中并不包括Root子表。參考Root子表記錄,能夠明確具體機器所保存的元數據表下的子表,BigTable程序下表格的子表管理數據信息則被元數據表各行所記錄。元數據表中記錄行主鍵即為子表下保存末行主鍵、各行用戶表名,而子表的相關服務器管理信息則保存于記錄行數據內。在對用戶表特定行記錄進行查看時,客戶端需要對Chub-by系統下文件進行讀取,了解Root子表具體位置信息,參考Root子表,得知元數據表下的子表位置,借助查詢記錄行主鍵、待查看用戶表相互對標的方式,明確記錄所對應的子表服務器。在本地客戶端即可緩存數據信息,同子表服務器進行通信操作,就能夠對數據信息進行查看。
四、分布式數據存儲技術
多源性、多時空、數量龐大及異構是云GIS空間數據的顯著特征,所以系統空間數據通常都為動態化的,相對雜亂,所以需要通過分布式的途徑來存儲云GIS數據,借助冗余存儲的優勢,可以使數據可靠程度得到顯著的提升。而傳輸效率高、吞吐率高及分布式是云存儲技術的特征,因此能夠將該技術對空間數據進行管理、保存。運用多項數據庫技術能夠對空間數據進行管理,包括NoSQL、HBase和BigTable,在進行訪問的過程中就運用到REST接口、空間數據庫連接技術。發揮分布式緩存技術的優勢,可以使后臺服務器的壓力得到改善,使響應速度得到顯著提升。當下HDFS、非開源GFS是當下關鍵數據存儲技術,其中針對非開源GFS而言,谷歌公司將其視作專用文件系統,能夠對大量的搜索數據進行保存,該系統的分布式結構能夠對數據進行大規模、高效化的處理,同時其也具備良好的擴展性[5]。GFS的硬件設施相對簡單,擁有容錯技術,能夠將聚合處理功能提供給使用者。多數chunkserver及獨立master共同構成了GFS體系。(1)針對基于GFS的chunkserver.,各文件均涵蓋了大小明確的chunk,各塊擁有對應的chunkhandle標志(64位),其主要是master結合創建時間而構建,一旦形成不再變化。本地磁盤下,借助Linux文件系統,chunkservers能夠對chunk進行存儲,參考字節范圍、chunkhandle,Linux文件系統也可以對chunk數據信息進行讀寫處理。大量chunkserver可以備份處理chunk,使數據可靠程度明顯提升。(2)全部文件系統元數據由master統一進行管理,涵蓋了大量信息,例如:當下塊位置信息、文件到塊映射關系、塊命名空間等。master.同樣能夠對系統活動進行管控,這些活動涉及垃圾收集孤兒塊、塊遷移和管理塊租約等[6]。借助Heart-Beat消息,master能夠在特定時間同各chunkserver進行溝通,搜集chunkserver狀態,并將指令向其進行傳輸。(3)文件系統API涵蓋于client代碼內,同時chunkserv-er、master能夠同client進行有效通信,進而支持系統讀寫數據的操作。僅在元數據處理方面,master、client二者進行交換,致使chunkserver與全部數據都能開展通信活動,但是文件數據不能夠在chunkserver、client下進行緩存,主要緣由為數據量極為龐大,而且工作集也相對較大。此外,由于client同chunkserver無需顧及文件數據的緩存一致與否的狀況,所以能夠使系統得到進一步的簡化,客戶程序也更加直接、有效。
五、結語
在網絡信息技術日益更新、發展的過程中,計算機存儲技術的應用更加廣泛,發揮的作用越來越重要。而面對GIS數據管理的需求,充分發揮計算機存儲技術的優勢,能夠使數據管理的安全程度得到顯著提升,同時是數據可用性也得到顯著改善,加快了GIS技術的進一步發展及實踐運用。
參考文獻
[1]劉軍,鞠建榮,劉清華.基于GIS的地鐵工程勘察數據庫管理系統的設計與實現[J].城市勘測,2012(1):167-169.
[2]吳蜜.嵌入式GIS的終端軟件設計分析[J].計算機光盤軟件與應用,2014(22):82-83.
[3]孟慶武,孟露,吳健等.基于UML的GIS空間數據管理系統的設計[J].北京測繪,2011,35(3):38-43.
[4]王璐.計算機存儲系統的管理技術探討[J].電子技術與軟件工程,2014(3):198.
[5]侯天鳳.巧用非計算機存儲信息健壯自己的密碼[J].數字通信世界,2017(9):19-21.
[6]劉瑜,徐愛鋒,張洪艷.GIS數據應用體系框架研究[J].測繪與空間地理信息,2011,34(2):157-158.
【計算機存儲技術對GIS數據管理的應用論文】相關文章:
GIS技術在寧國林業中的應用及展望論文03-15
有線電視GIS技術的應用論文03-17
云存儲技術在干部培訓中的應用研究論文03-16
計算機技術對通信技術的應用論文11-11
計算機應用技術論文06-08
計算機技術的應用及發展探究論文11-09
通訊領域計算機技術的應用論文02-22
(實用)計算機應用技術論文10-19
- 相關推薦