- 相關推薦
網絡信息挖掘系統評價初探
【正文】
隨著電子商務的蓬勃興起,許多企業已經開始意識到其所擁有的豐富的信息資源在商業決策中具有潛在的巨大商業價值。更好的決策支持需求和企業電子商務的開展正推動著網絡信息挖掘系統的研究與開發。
鑒于網絡信息挖掘是在數據挖掘的基礎上發展起來的,因此對于網絡信息挖掘系統的基本問題,本文仍將利用數據挖掘系統的基本理論來描述。
目前,由于網絡信息挖掘系統的發展正在起步階段,因此它的分類還無法達到數據挖掘系統分類那樣細致。具體而言,對網絡信息挖掘系統分類可以從商業能力、挖掘數據類型、挖掘功能、數據分析方法和應用領域角度進行。其中商業能力角度的分類與數據挖掘系統的商業能力分類完全相同,即分為商業產品和研究原型。而從另外幾個角度看,網絡信息挖掘系統的類型具有自身一些特點,例如從應用領域角度看,網絡信息挖掘系統可以分為面向電子商務型、面向遠程教育型、面向旅游型、面向廣告業型等。隨著網絡信息挖掘技術的進一步發展,將出現更加豐富的網絡信息挖掘系統類型。
1 系統評價現狀調查
據調查,目前國內外還沒有出現完全針對網絡信息挖掘系統的評價成果,因而對網絡信息挖掘系統的評價具有一定的創新性。筆者認為,對網絡信息挖掘系統的評價可以充分地借鑒數據挖掘系統的評價方法。應該說這兩類系統在很多評價指標上都有重合。
從國外來講,1998年前后已經有一些研究人員和機構對數據挖掘系統進行了一定的評價研究。他們所采用的評價體系各有特點,以下是一些簡要介紹。
1)J.F.Elder等人主要對17種數據挖掘系統進行了評價[1],其中包括了著名的Clementine、IntelligentMiner系統。這些系統具有以下共同的特點:單平臺(StandAlone)、多用途、支持多種模式和分類算法,并支持模式構建中的項目階段。他們主要從6大方面對這些系統進行比較,除此之外,他們還單獨從用戶端角度對數據挖掘系統性能進行評價。他們認為并非支持的算法越多越好,各種算法面對不同的問題其解決能力也是不同的,它們具有自身的優點與缺點。在文章的最后,還對這17種產品的優勢/劣勢作了總體的描述性評價。
2)M.A.King等人針對14種桌面型數據挖掘系統[2],重點對各個系統的特征和性能進行比較。他們選用了20個評價指標,并設計了一個標準的評價過程——6分制評分標準來評價各種軟件工具的優點和缺點。他們評價的特色在于針對4種算法的產品分別評價,并采用4類數據集測試系統的性能。他們認為網絡法(PolynomialandNeural)要比分割法(TreesandRules)更精確,另外也提出可以加入計算機環境、數據庫連接性、提供商的穩定性等指標進一步評價。
3)D.W.Abbott等人主要針對高端型(High-end)用于欺詐甄別的數據挖掘系統進行了評價[3]。盡管僅選擇了5個系統(Clementine、IntelligentMinerforMata、Darwin、En-terpriseMiner、PatternRecognitionWorkbench)進行評價,但是他們針對這5個專門應用于欺詐甄別的系統進行了細致的比較。
4)M.Goebel等人將數據庫中知識發現(KDD)與數據挖掘結合到一起評價[4]。他們在介紹一般知識發現任務以及解決這些任務的方法基礎上,主要調查了43種提供這類功能的軟件工具。這些工具既包括研究的原型系統,也包括已經商業化的產品。其中有較為著名的Clementine、DBMiner、IntelligentMiner系統。他們采用了一個系統特征分類體系對上述產品進行比較,并提出一些尚待解決的問題:如不同技術的集成、可擴展性、與數據庫的無縫集成、對正在變化中的數據進行管理以及非標準的數據類型等問題。
5)J.Hah博士沒有針對個別的數據挖掘系統具體評價,但他認為評價一個數據挖掘系統應包括如下幾個方面[5]:數據類型、系統問題、數據源、數據控制的功能與方法、數據挖掘系統和數據庫或數據倉庫系統的結合、可伸縮性、可視化工具、數據挖掘查詢語言和圖形用戶接口。
6)A.Berson等認為數據挖掘軟件產品因為不同的目標用戶和不同類型的解決問題而具有不同的重點[6]。主要可以分為目標解決方案、商業工具、商業分析工具、研究分析工具4類。另外,從目前整個數據挖掘市場看也可以分成3個主要組成部分:通用的工具、綜合DSS/OLAP/數據挖掘工具和快速成長的面向特定應用的工具。他們還進一步提供了一套專門用于數據挖掘工具評價的屬性和方法,對11種具體的工具進行了評價,其中包括Clementine、IntelligentMiner等著名的工具。
從國內來看,數據挖掘系統的評價研究不如國外活躍,這與數據挖掘系統在國內的應用仍處于初步階段有直接關系。目前這方面的研究狀況如下。
朱愛群提出了一種高級記分卡系統[7],采用該記分系統有助于商業用戶更好地比較不同的數據挖掘技術,并以此作出正確的選擇。該系統共有3種不同的記分卡:商業記分卡、算法記分卡、應用記分卡。
從上述文獻的調查看,國內外數據挖掘系統評價普遍具有的特點是:
1)重視系統算法能力的評價。在7個調查對象中,其中6個都明確采用了算法評價指標,特別是J.F.Elder、D.W.Abbott、朱愛群等人,對算法指標的分析尤為細致。
2)突出或者具有從商業能力角度的評價。朱愛群和A.Berson都明確提出采用商業能力指標,而其他研究者提供的從用戶端角度對系統易用性的評價實際上可以作為系統商業能力評價的一部分。
3)缺少對數據挖掘流程的評價。數據準備、數據預處理、數據建模、模型評估、模型應用等一系列步驟是幾乎每個數據挖掘系統所必須經歷的,往往各種系統在每個階段表現的能力各有不同,因此有必要對過程中的每個階段進行評價。
4)缺少從應用能力角度的評價。從所有的調查對象中看,僅有國內的一個評價提到了應用評價,而且其具體的指標并不是直接針對如保險業、零售業、電子商務等實際應用領域的。
由此可見,本文所要進行的網絡信息挖掘系統的評價應當積極吸取已有數據挖掘系統評價的優點,同時結合網絡信息挖掘的特點來彌補評價中的不足。
2 評價系統的選擇
由于目前許多數據挖掘系統也同時提供網絡信息挖掘功能,因此本文所要評價的網絡信息挖掘系統,一方面從一些著名的數據挖掘系統中選擇,一方面將參考KD-nuggets上有關網絡信息挖掘軟件的最新統計報道。
從文獻調查看[8],Int
【網絡信息挖掘系統評價初探】相關文章:
信息系統內部控制審計初探03-21
關于網絡教學評價要素初探02-23
網絡信息分類系統的詞匯控制03-28
信息網絡傳播權案初探03-24
學科信息門戶中網絡信息導航系統的規范建設12-08
信息系統環境下內部控制評審內容和方法初探03-21
電力企業網絡和信息安全管理初探論文11-13
信息成本核算初探03-25