地質(zhì)調(diào)查大數(shù)據(jù)處理的技術(shù)問題與開發(fā)方法
地質(zhì)調(diào)查的過程同時(shí)是地質(zhì)調(diào)查信息的處理過程，下面是小編搜集整理的一篇關(guān)于地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)問題探究的論文范文，歡迎前來閱讀參考。
1、數(shù)據(jù)的產(chǎn)生
地質(zhì)調(diào)查是人們對(duì)地球表層有目的的探測(cè)與探索。從數(shù)據(jù)角度看，地質(zhì)調(diào)查以多來源、多模態(tài)數(shù)據(jù)展現(xiàn)地球表層現(xiàn)狀與發(fā)展過程。從系統(tǒng)角度看，地質(zhì)調(diào)查是參與人、數(shù)據(jù)處理機(jī)、地球構(gòu)成的“人-機(jī)-地”系統(tǒng)。地質(zhì)調(diào)查數(shù)據(jù)的產(chǎn)生情況如表1所示。其中網(wǎng)絡(luò)信息與管理信息來自人機(jī)交互系統(tǒng)，地球信息來自機(jī)地交互系統(tǒng)和人地交互系統(tǒng)。
地質(zhì)調(diào)查數(shù)據(jù)產(chǎn)生的位置與時(shí)間表現(xiàn)出整體的規(guī)律性和局部的隨機(jī)性。地質(zhì)調(diào)查不但產(chǎn)生地質(zhì)觀測(cè)與探測(cè)數(shù)據(jù)，還產(chǎn)生服務(wù)、管理及其參與人數(shù)據(jù)，表現(xiàn)出確定性與不確定性交織的復(fù)雜狀態(tài)。
2、基本認(rèn)識(shí)
地質(zhì)調(diào)查大數(shù)據(jù)是地質(zhì)調(diào)查工作和信息科學(xué)技術(shù)發(fā)展、融合到一定程度的結(jié)果。源動(dòng)力來自于2個(gè)方面：①地質(zhì)調(diào)查業(yè)務(wù)不斷調(diào)整拓展，大量新型技術(shù)方法的應(yīng)用，數(shù)據(jù)共識(shí)基本形成;②地質(zhì)調(diào)查信息化服務(wù)需求日漸增強(qiáng)，亟需從獨(dú)占走向共享、從粗放走向精細(xì)。
地質(zhì)調(diào)查大數(shù)據(jù)試圖解決以下3類問題：
(1)過去計(jì)劃經(jīng)濟(jì)體制下，地質(zhì)信息資料分割保存，形成信息孤島，數(shù)據(jù)信息順暢流動(dòng)困難，信息與數(shù)據(jù)共享問題一直是制約地質(zhì)調(diào)查發(fā)展的瓶頸。
(2)在以往地質(zhì)調(diào)查工作中，存在一些與數(shù)據(jù)和計(jì)算相關(guān)的地質(zhì)問題，由于當(dāng)時(shí)信息技術(shù)條件的限制，沒有得到解決，或者解決效率、精度不能令人滿意。這一類問題普遍存在于地質(zhì)調(diào)查具體工作中。
(3)地質(zhì)調(diào)查信息化服務(wù)產(chǎn)品類型不足，生產(chǎn)周期偏長(zhǎng)，需求響應(yīng)欠準(zhǔn)確、欠及時(shí)。這一類問題已經(jīng)逐漸成為地質(zhì)調(diào)查工作的焦點(diǎn)問題。
地質(zhì)調(diào)查大數(shù)據(jù)是一個(gè)三元組<Ω，fΩ,Rf>,Ω是一個(gè)巨數(shù)據(jù)集，fΩ是定義在Ω上的處理技術(shù)方法集，Rf是fΩ上的關(guān)聯(lián)關(guān)系。通常，巨數(shù)據(jù)集Ω的計(jì)數(shù)測(cè)度只增不減，包含地質(zhì)調(diào)查產(chǎn)生的數(shù)據(jù)。處理技術(shù)方法集fΩ的操作對(duì)象是地質(zhì)調(diào)查產(chǎn)生的數(shù)據(jù)，操作基礎(chǔ)是信息技術(shù)，尤其是新一代信息技術(shù)，是地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)的核心元素。關(guān)聯(lián)關(guān)系Rf定義解決地質(zhì)調(diào)查問題的思路邏輯，體現(xiàn)地質(zhì)調(diào)查大數(shù)據(jù)的功用與質(zhì)量。
地質(zhì)調(diào)查大數(shù)據(jù)是“用”出來的，應(yīng)從地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)研究與開發(fā)起步，解決技術(shù)應(yīng)用中的具體問題。當(dāng)應(yīng)用達(dá)到相當(dāng)?shù)膹V度、深度后，一些有關(guān)地質(zhì)調(diào)查大數(shù)據(jù)的共性科學(xué)問題會(huì)浮現(xiàn)或抽象出來，這時(shí)就是在更高層面上解決問題的時(shí)刻了。
3、地質(zhì)調(diào)查大數(shù)據(jù)處理的技術(shù)問題
結(jié)合地質(zhì)調(diào)查數(shù)據(jù)處理一般流程和大數(shù)據(jù)處理技術(shù)的特殊性，把地質(zhì)調(diào)查大數(shù)據(jù)處理主要技術(shù)問題分為采集與傳輸、存儲(chǔ)與管理、計(jì)算模式與系統(tǒng)、分析與挖掘、可視分析、隱私與安全6個(gè)方面。
(1)采集與傳輸對(duì)應(yīng)地質(zhì)調(diào)查數(shù)據(jù)的產(chǎn)生，地質(zhì)調(diào)查大數(shù)據(jù)外延顯然更大，采集對(duì)象更加全面地覆蓋地質(zhì)調(diào)查工作。同時(shí)，通過實(shí)時(shí)或準(zhǔn)實(shí)時(shí)數(shù)據(jù)通信獲取地質(zhì)調(diào)查數(shù)據(jù)，為達(dá)到地質(zhì)調(diào)查工作服務(wù)目標(biāo)提供基礎(chǔ)。
地質(zhì)調(diào)查大數(shù)據(jù)采集與傳輸?shù)幕灸繕?biāo)是應(yīng)收、盡收、速收。
地質(zhì)調(diào)查大數(shù)據(jù)采集與傳輸技術(shù)多樣，也相對(duì)成熟，主要問題在于技術(shù)集成與產(chǎn)品化設(shè)計(jì)生產(chǎn)方面。地質(zhì)調(diào)查大數(shù)據(jù)采集與傳輸技術(shù)及主要問題如表2所示。
(2)存儲(chǔ)與管理地質(zhì)調(diào)查工作中，不同類型的應(yīng)用對(duì)存儲(chǔ)系統(tǒng)的性能、可靠性等指標(biāo)有不同的要求，這在存儲(chǔ)與管理中并不是新問題，但地質(zhì)調(diào)查大數(shù)據(jù)的大體量、高復(fù)雜度放大了達(dá)到這些技術(shù)指標(biāo)的難度，導(dǎo)致“存儲(chǔ)墻”問題越來越嚴(yán)重。
地質(zhì)調(diào)查數(shù)據(jù)處理應(yīng)用中存在2個(gè)突出的問題：①數(shù)據(jù)體量增加到一定程度后，系統(tǒng)停止運(yùn)轉(zhuǎn);②讀寫外部存儲(chǔ)碎片數(shù)據(jù)時(shí)，系統(tǒng)效率極低。
這2個(gè)問題首先與地質(zhì)調(diào)查數(shù)據(jù)處理使用的計(jì)算機(jī)存儲(chǔ)硬件有直接關(guān)系。當(dāng)前，地質(zhì)調(diào)查數(shù)據(jù)處理中使用的內(nèi)部存儲(chǔ)硬件主要是SRAM/ DRAM工藝的，外部存儲(chǔ)硬件主要是磁盤。SRAM 工藝存儲(chǔ)密度限制片上存儲(chǔ)容量增長(zhǎng)，SRAM/ DRAM工藝高靜態(tài)功耗阻礙存儲(chǔ)層次發(fā)展，SRAM/DRAM 工藝對(duì)粒子和射線撞擊產(chǎn)生的軟錯(cuò)誤問題沒有抵抗能力，糾錯(cuò)電路限制存儲(chǔ)容量增加并引起功耗[1].磁盤是計(jì)算機(jī)體系結(jié)構(gòu)中唯一還在使用的機(jī)械單元，與其他電子存儲(chǔ)單元在訪問效率、延遲等指標(biāo)上存在量級(jí)上的差距，如表 3 所示[2].上述2個(gè)問題與地質(zhì)調(diào)查數(shù)據(jù)處理使用的軟件體系也有關(guān)系。地質(zhì)調(diào)查應(yīng)用主要的存儲(chǔ)與管理軟件是文件系統(tǒng)與數(shù)據(jù)庫(kù)，當(dāng)前，地質(zhì)調(diào)查數(shù)據(jù)存儲(chǔ)與管理整體設(shè)計(jì)不明確，絕大部分應(yīng)用沒有進(jìn)行針對(duì)性較強(qiáng)的存儲(chǔ)與管理設(shè)計(jì)優(yōu)化，造成整體效率與具體應(yīng)用效率都有待提高。地質(zhì)調(diào)查大數(shù)據(jù)存儲(chǔ)與管理的基本目標(biāo)是軟硬件優(yōu)化升級(jí)，大幅提升效率。
地質(zhì)調(diào)查大數(shù)據(jù)的存儲(chǔ)與管理技術(shù)與當(dāng)前使用的技術(shù)有較大的區(qū)別，內(nèi)容更豐富，結(jié)構(gòu)也更復(fù)雜，但效率普遍提高，有些技術(shù)能夠達(dá)到量級(jí)上的提高。地質(zhì)調(diào)查大數(shù)據(jù)的存儲(chǔ)與管理技術(shù)如表4所示。
(3)計(jì)算模式與系統(tǒng)計(jì)算模式在以往地質(zhì)調(diào)查數(shù)據(jù)處理中很少提及，但計(jì)算模式是地質(zhì)調(diào)查大數(shù)據(jù)處理的核心問題之一。所謂地質(zhì)調(diào)查大數(shù)據(jù)計(jì)算模式，就是根據(jù)地質(zhì)調(diào)查大數(shù)據(jù)的數(shù)據(jù)特征和計(jì)算特征，從多樣性的地質(zhì)調(diào)查大數(shù)據(jù)計(jì)算問題和需求中提煉并建立抽象或模型。在地質(zhì)調(diào)查工作中，與數(shù)據(jù)計(jì)算有關(guān)的業(yè)務(wù)非常多，業(yè)務(wù)目標(biāo)不同，對(duì)數(shù)據(jù)計(jì)算響應(yīng)的時(shí)限要求也不同，操作的數(shù)據(jù)不同，數(shù)據(jù)的計(jì)算方式就不同，因而需要甄別不同計(jì)算模式，分類分析地質(zhì)調(diào)查大數(shù)據(jù)處理中的計(jì)算模式。地質(zhì)調(diào)查大數(shù)據(jù)計(jì)算模式主要類型與特點(diǎn)如表5所示。
地質(zhì)調(diào)查大數(shù)據(jù)處理的大部分對(duì)象是空間數(shù)據(jù)，關(guān)聯(lián)關(guān)系復(fù)雜，當(dāng)前主流的批處理計(jì)算難以從根本上解決可行性與效率問題;內(nèi)存計(jì)算[3]在計(jì)算機(jī)體系結(jié)構(gòu)層面解決地質(zhì)調(diào)查大數(shù)據(jù)處理的問題，具有廣譜性，可以很容易地與其他計(jì)算模式結(jié)合，形成具有優(yōu)異計(jì)算性能的應(yīng)用系統(tǒng);隨著內(nèi)存價(jià)格的不斷下降和新型非易失性存儲(chǔ)器的`發(fā)明，服務(wù)器可配置的內(nèi)存容量不斷提高，采用內(nèi)存計(jì)算完成高速的地質(zhì)調(diào)查大數(shù)據(jù)處理有了現(xiàn)實(shí)的可能性。內(nèi)存計(jì)算是地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)發(fā)展的重要趨勢(shì)。
總體上看，地質(zhì)調(diào)查大數(shù)據(jù)處理需要面向?qū)嶋H工作，提供多種計(jì)算模式的服務(wù)。
(4)分析與挖掘地質(zhì)數(shù)據(jù)定量分析一直是地質(zhì)調(diào)查重要的工作內(nèi)容，但趙鵬大[4]認(rèn)為，目前地球科學(xué)的分析和可視化方法已經(jīng)遠(yuǎn)遠(yuǎn)落后于創(chuàng)造數(shù)據(jù)的能力。地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘技術(shù)首先要解決的問題是地質(zhì)調(diào)查工作區(qū)多來源、多模態(tài)、多時(shí)態(tài)數(shù)據(jù)的相關(guān)性和模式分析，這樣的分析可以克服個(gè)體的波動(dòng)性，發(fā)現(xiàn)更多可靠的、隱藏的模式和知識(shí)。地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘的技術(shù)問題還表現(xiàn)在以下4個(gè)方面：
第一，以往地質(zhì)調(diào)查數(shù)據(jù)分析的一個(gè)重要方法是采樣，當(dāng)數(shù)據(jù)體量比較大時(shí)，可以通過采樣技術(shù)把數(shù)據(jù)規(guī)模變小[5].很顯然，在很多地質(zhì)問題中，采樣意味著信息的丟失。如果不運(yùn)用采樣技術(shù)，考慮對(duì)地質(zhì)調(diào)查大數(shù)據(jù)全集進(jìn)行分析，意味著需要分析的數(shù)據(jù)量急劇膨脹與增長(zhǎng)，其面臨的技術(shù)問題就是體量巨大的數(shù)據(jù)如何分析。
第二，以往地質(zhì)調(diào)查數(shù)據(jù)分析方法集中于線性空間中的統(tǒng)計(jì)方法，以及一些初級(jí)的非線性方法，在小樣本上運(yùn)用這些方法獲取局域的地質(zhì)特征。當(dāng)在地質(zhì)調(diào)查大數(shù)據(jù)上運(yùn)用這些方法時(shí)，令人不安的結(jié)果往往是方法收斂早于數(shù)據(jù)規(guī)模波動(dòng)，有必要針對(duì)地質(zhì)調(diào)查大數(shù)據(jù)的一些方法進(jìn)行改造，或者提出新的方法，這是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的另一項(xiàng)技術(shù)問題，即深度分析。
第三，集合了地質(zhì)描述、地質(zhì)數(shù)據(jù)、地質(zhì)圖表、地質(zhì)認(rèn)識(shí)的地質(zhì)調(diào)查資料價(jià)值巨大，目前，地質(zhì)調(diào)查資料處理技術(shù)主要集中在前處理和檢索查詢方面，而地質(zhì)調(diào)查綜合資料的深度分析與挖掘是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的重要技術(shù)問題。
第四，地質(zhì)礦產(chǎn)資源評(píng)價(jià)、地質(zhì)環(huán)境監(jiān)測(cè)預(yù)警等重要業(yè)務(wù)在不斷發(fā)展，對(duì)數(shù)據(jù)與計(jì)算技術(shù)的要求更精致、更敏捷，實(shí)現(xiàn)對(duì)這些重要業(yè)務(wù)的有效技術(shù)支撐是地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘面臨的基本技術(shù)問題。
地質(zhì)調(diào)查大數(shù)據(jù)分析與挖掘的另一類技術(shù)問題源于地質(zhì)調(diào)查信息化服務(wù)。網(wǎng)絡(luò)形式的公眾服務(wù)必然產(chǎn)生公眾訪問數(shù)據(jù)，這些數(shù)據(jù)以某些特定形式存儲(chǔ)，對(duì)這些數(shù)據(jù)的分析與挖掘有助于優(yōu)化服務(wù)系統(tǒng)配置，提高服務(wù)質(zhì)量與效率。在這方面，一些通用的分析與挖掘技術(shù)可以派得上用場(chǎng)，而具有地質(zhì)調(diào)查特色的分析與挖掘技術(shù)是需要重點(diǎn)關(guān)注的，如地質(zhì)調(diào)查空間數(shù)據(jù)熱點(diǎn)技術(shù)、地質(zhì)圖塊的快速檢索技術(shù)、地質(zhì)圖塊與地質(zhì)資料快速匹配技術(shù)等。
(5)可視分析有別于一般的數(shù)據(jù)處理工作，地質(zhì)調(diào)查工作中很大一部分地質(zhì)問題是地質(zhì)專業(yè)技術(shù)人員在空間數(shù)據(jù)或圖件基礎(chǔ)上進(jìn)行綜合分析后解決的，這種解決問題的模式為地質(zhì)調(diào)查大數(shù)據(jù)可視分析技術(shù)提供了可能�？梢暦治鼍褪峭ㄟ^交互可視界面來進(jìn)行分析、推理和決策的過程[6],本質(zhì)也是知識(shí)發(fā)現(xiàn)。
可視分析與一般分析與挖掘的不同在于，其不依賴于數(shù)學(xué)模型，而是一種探索式分析，這與很多地質(zhì)問題的解決模式一致。
地質(zhì)調(diào)查大數(shù)據(jù)可視分析的技術(shù)基礎(chǔ)是多年積累的地質(zhì)體建模、地質(zhì)過程建模、地質(zhì)調(diào)查數(shù)據(jù)可視化及其交互的技術(shù)，可視分析就是在這些技術(shù)的基礎(chǔ)上，克服高維性、不確定性和異構(gòu)性，研究開發(fā)從復(fù)雜地質(zhì)調(diào)查數(shù)據(jù)中抽取有效特征的方法，通過探索式分析完成地質(zhì)調(diào)查大數(shù)據(jù)中知識(shí)發(fā)現(xiàn)，其基本技術(shù)流程如圖1所示。
當(dāng)前的機(jī)器智能在復(fù)雜地質(zhì)數(shù)據(jù)的視覺識(shí)別和理解方面遠(yuǎn)不及人腦智能，而超過50%的智能與視覺識(shí)別有關(guān)。因此，對(duì)地質(zhì)特征模型可視化結(jié)果的修正和判斷，體現(xiàn)出人腦智能和機(jī)器智能的差異，其中蘊(yùn)含的就是新知識(shí)。探索式可視分析以人腦智能向機(jī)器智能的轉(zhuǎn)換、機(jī)器智能向人腦智能的展示為主線，實(shí)現(xiàn)地質(zhì)認(rèn)識(shí)的螺旋式進(jìn)化，在這一方面，需要解決的技術(shù)難題包括：①對(duì)地質(zhì)體和地質(zhì)現(xiàn)象的數(shù)據(jù)或參數(shù)的輸入常常存在謬誤和不精確，因而人腦智能轉(zhuǎn)換為機(jī)器智能是多人協(xié)同、反復(fù)修正的過程;②地質(zhì)調(diào)查大數(shù)據(jù)環(huán)境下，各種可視分析方法需要具備可擴(kuò)充性和容納不同對(duì)象的能力，這樣才能支持多來源、多時(shí)態(tài)的地質(zhì)大數(shù)據(jù)處理。
(6)隱私與安全隱私是不愿意被他人知道或他人不便知道的敏感信息[7].地質(zhì)調(diào)查大數(shù)據(jù)以服務(wù)為重要目標(biāo)，因此存在服務(wù)參與人的隱私問題。安全指不受威脅，沒有危險(xiǎn)、危害、損失[8].信息安全指采取技術(shù)和管理的安全保護(hù)手段，保護(hù)軟硬件與數(shù)據(jù)不因偶然的或惡意的原因而遭到破壞、更改、顯露[9].數(shù)據(jù)安全一直是地質(zhì)調(diào)查信息化工作的重要內(nèi)容。
地質(zhì)調(diào)查大數(shù)據(jù)隱私與安全面臨的新情況和帶來的威脅與挑戰(zhàn)如表6所示。地質(zhì)調(diào)查大數(shù)據(jù)隱私與安全需要法律、政策、管理與技術(shù)共同維護(hù)，從技術(shù)層面，當(dāng)前主要隱私和安全保護(hù)方法包括：文件訪問控制技術(shù)、基礎(chǔ)設(shè)備加密、匿名化保護(hù)技術(shù)、加密保護(hù)技術(shù)、數(shù)據(jù)失真技術(shù)、可逆置換算法等。
4、科學(xué)問題
地質(zhì)調(diào)查大數(shù)據(jù)的研究處于探索階段，地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)也處于起步階段，因而對(duì)地質(zhì)調(diào)查大數(shù)據(jù)研究中的科學(xué)問題準(zhǔn)確描述還十分困難，這里把科學(xué)問題討論限制在地質(zhì)大數(shù)據(jù)范疇，也就是地球信息的范疇，探索性地提出2個(gè)帶有普遍性與根本性的問題。
(1)地質(zhì)大數(shù)據(jù)僅僅是地質(zhì)世界的數(shù)據(jù)映象，還是具有反映地質(zhì)世界規(guī)律能力的數(shù)據(jù)世界?地質(zhì)科學(xué)一直以來以科學(xué)實(shí)驗(yàn)、知識(shí)歸納為主要研究手段，近幾十年來數(shù)值模擬也有一些發(fā)展。趙鵬大[10]指出，當(dāng)前已經(jīng)進(jìn)入大數(shù)據(jù)時(shí)代，大數(shù)據(jù)成為新的科學(xué)范式(數(shù)據(jù)密集型科學(xué)研究的“第四范式”[10])，是一場(chǎng)技術(shù)革命、顛覆性創(chuàng)新[11].那么，地質(zhì)大數(shù)據(jù)的關(guān)聯(lián)關(guān)系與地質(zhì)世界的因果關(guān)系之間存在怎樣的聯(lián)系?或者表述為：地質(zhì)大數(shù)據(jù)的相關(guān)性研究與地質(zhì)科學(xué)研究功效一致，還是僅僅是地質(zhì)科學(xué)研究的補(bǔ)充?在簡(jiǎn)單的、封閉的系統(tǒng)中，基于小數(shù)據(jù)的因果關(guān)系是很容易做到的，但對(duì)復(fù)雜的、開放的巨系統(tǒng)，傳統(tǒng)的因果關(guān)系是不是奏效很難說。地質(zhì)大數(shù)據(jù)進(jìn)行的關(guān)聯(lián)分析是“知其然而不知其所以然”的，相關(guān)性表達(dá)2個(gè)或多個(gè)地質(zhì)變量取值之間的某種規(guī)律性，嚴(yán)格地說，統(tǒng)計(jì)相關(guān)性是無法檢驗(yàn)邏輯上的因果關(guān)系的[12].不過一些支持者，如 Mayer-Schnberger[13]在《大數(shù)據(jù)時(shí)代》一書中指出了大數(shù)據(jù)時(shí)代處理數(shù)據(jù)理念的三大轉(zhuǎn)變，即要全體不要抽樣，要效率不要絕對(duì)精確，要相關(guān)不要因果。也就是“數(shù)據(jù)-信息-知識(shí)-智慧”要讓位于“數(shù)據(jù)-價(jià)值”的研究思路。當(dāng)前，面對(duì)地質(zhì)大數(shù)據(jù)，地質(zhì)科學(xué)研究人員有可能從中查找、分析或挖掘所需要的信息、知識(shí)和智慧，甚至無需直接接觸所研究的對(duì)象。
(2)地質(zhì)大數(shù)據(jù)關(guān)系網(wǎng)絡(luò)的本質(zhì)特征是什么?地質(zhì)數(shù)據(jù)之間復(fù)雜的網(wǎng)絡(luò)關(guān)系是地質(zhì)大數(shù)據(jù)的存在形式，深入分析地質(zhì)大數(shù)據(jù)關(guān)系網(wǎng)絡(luò)，才能把握地質(zhì)大數(shù)據(jù)的本質(zhì)。針對(duì)大型復(fù)雜的研究區(qū)域，地層、物探、化探、影像等數(shù)據(jù)之間的關(guān)系如何定量表達(dá)，這一系列表達(dá)關(guān)系的變量中是不是存在一些整體上有規(guī)律的部分，這是地質(zhì)大數(shù)據(jù)背后的關(guān)系網(wǎng)絡(luò)研究的重要內(nèi)容。
5、地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)方法
地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)的開發(fā)既要繼承以往地質(zhì)數(shù)據(jù)處理技術(shù)開發(fā)的一些方法與技巧，更要考慮在開發(fā)思路上的不同之處。
(1)為了降低成本，提高能效，地質(zhì)調(diào)查大數(shù)據(jù)相關(guān)系統(tǒng)需要擺脫傳統(tǒng)的通用體系，趨向?qū)Ｓ没軜?gòu)技術(shù)[14],適度抽象有利于整體把握地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)的一致性與協(xié)調(diào)。
(2)以往地質(zhì)調(diào)查數(shù)據(jù)處理技術(shù)和系統(tǒng)更多地是面向3S技術(shù)，一些系統(tǒng)是3S技術(shù)在地質(zhì)調(diào)查工作中的應(yīng)用，對(duì)地質(zhì)調(diào)查服務(wù)與應(yīng)用環(huán)境、性能等方面缺乏深入工作。地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)只關(guān)注3S技術(shù)已經(jīng)不夠，還要關(guān)注信息科學(xué)與技術(shù)的發(fā)展，尤其是計(jì)算機(jī)科學(xué)與技術(shù)的發(fā)展。
(3)重視具體應(yīng)用軟件開發(fā)、忽視軟硬件集成開發(fā)是以往地質(zhì)調(diào)查數(shù)據(jù)處理系統(tǒng)開發(fā)時(shí)的缺陷。地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)不僅要關(guān)注軟件，還要關(guān)注系統(tǒng)，尤其是信息系統(tǒng)與物理系統(tǒng)結(jié)合、信息技術(shù)與自動(dòng)化技術(shù)結(jié)合。
(4)以往地質(zhì)調(diào)查數(shù)據(jù)處理系統(tǒng)開發(fā)偏重系統(tǒng)功能的實(shí)現(xiàn)，地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)開發(fā)只關(guān)注功能實(shí)現(xiàn)已經(jīng)不可能了，還要關(guān)注性能與復(fù)雜度，開發(fā)難度提升。
(5)地質(zhì)調(diào)查大數(shù)據(jù)處理所涉及的數(shù)據(jù)與計(jì)算規(guī)模是空前的，必須有精準(zhǔn)的需求分析，以及完整、可靠的技術(shù)設(shè)計(jì)，在嚴(yán)格的技術(shù)監(jiān)督下逐步展開，否則可能造成經(jīng)費(fèi)和時(shí)間的浪費(fèi)。
結(jié) 語(yǔ)
地質(zhì)調(diào)查大數(shù)據(jù)處理技術(shù)是地質(zhì)調(diào)查信息化服務(wù)的技術(shù)核心，以信息化服務(wù)產(chǎn)品體系推動(dòng)資源共享是當(dāng)前的重要目標(biāo)。地質(zhì)調(diào)查大數(shù)據(jù)研究，應(yīng)從分析以往解決得不理想的地質(zhì)問題入手，充分利用新一代信息技術(shù)，更新當(dāng)前數(shù)據(jù)處理環(huán)境，在新環(huán)境下提出合理、有效的解決方案。另外，考慮在數(shù)據(jù)體量增大、類型復(fù)雜、響應(yīng)時(shí)間有要求的情況下，針對(duì)以往解決得不理想的地質(zhì)問題，著重進(jìn)行地質(zhì)數(shù)據(jù)的智能分析與深度挖掘，考慮合理、有效的解決方案。
參考文獻(xiàn)
[1]孫廣宇，王鵬，張超�；谛滦头且资Т鎯�(chǔ)的存儲(chǔ)結(jié)構(gòu)[J].中國(guó)計(jì)算機(jī)學(xué)會(huì)通訊，2014,10(4)：18-25.
[2]Scott C. Latency Numbers Every Programmer [EB/OL](2015-01-28)[2015-02-03]2015.
[3]哈索。亞歷山大·蔡爾。內(nèi)存數(shù)據(jù)管理[M]. 北京： 清華大學(xué)出版社，2012.
[4]趙鵬大。 大數(shù)據(jù)時(shí)代需重視數(shù)字地質(zhì)研究。中國(guó)國(guó)土資源報(bào)， 2013.
[5]覃雄派，王會(huì)舉， 杜小勇， 等。 大數(shù)據(jù)分析--RDBMS 與MapReduce 的競(jìng)爭(zhēng)與共生[J]. 軟件學(xué)報(bào)， 2012, 23(1)： 32-45.
【地質(zhì)調(diào)查大數(shù)據(jù)處理的技術(shù)問題與開發(fā)方法】相關(guān)文章：
外包美工與獨(dú)立開發(fā)者合作的流程與方法10-13
在html中顯示長(zhǎng)度較大的數(shù)據(jù)處理方法11-11
不良工程地質(zhì)和不良水文地質(zhì)的判斷方法11-12
演講與口才訓(xùn)練的三大方法12-12
巖土工程地質(zhì)的勘查方法07-27
演講與口才訓(xùn)練5大方法11-02