分類器組合增量集成的遠程教育論文

分類器組合增量集成的遠程教育論文

　　１引言

　　基于上述分析，為了更好地在遠程教育系統中對學生的表現進行預測，本文提出使用投票方法結合樸素貝葉斯的增量版本、１－ＮＮ和ＷＩＮＮＯＷ算法。實驗結果表明，本文提出的算法應用于預測學生表現方面非常有用，能夠識別出學生的不良表現，還能使老師在較早階段采取預防措施。甚至在學年一開始，為了對有危險的群體提供額外的幫助，更加準確地診斷出學生表現的能力會隨著學期中加入新的課程數據而提升，為老師提供了更加有效的結果。

　　２背景

　　本章給出為預測學生表現進行的教育數據挖掘、在線學習算法和增量集成分類器的一些基本理論。

　　２．１教育數據挖掘

　　分類、分簇、可視化、關聯規則和統計挖掘通常基于學生們的使用數據發掘新的、有趣且有用的知識，主要應用于電子學習問題或對象可處理與評估學生的學習表現、基于學生的學習表現提供適應性課程和學習建議、處理與評估學習材料和基于網頁的教育課程、提供教師和學生的電子學習課程反饋、監督非典型學生的學習表現。分類（電子學習中最有用的教育數據挖掘任務之一）可用作不同的教育目標，例如：將提示驅動或錯誤驅動的那些學生分組，找出這些學生通常有的錯誤觀念；使用智能教學系統時預測／分類學生等。還有，使用不同數據挖掘方法預測學生學習成績（分出低、中、高等級）、使用來自Ｍｏｏｄｌｅ日志的神經網絡模型。

　�。玻�２在線學習算法和增量集成分類

　　在線學習任務是為了從標記的隨時間分布的訓練數據中獲得一組概念描述，這類學習對許多應用都是重要的，如計算機安全、智能用戶接入和市場購物籃分析，客戶的喜好會隨著新產品而變化，服務變得可用。應對概念漂移算法必須快速并精確地收斂到新的目標概念，而且在時間和空間上都有效。在不斷變化的環境中增量學習系統理想的特征有：無明顯關于系統環境變化的信息進入系統時監測環境變化的能力。從變化環境中迅速恢復的能力和調整假設滿足新環境的能力。舊環境重復出現時在環境中利用先驗經驗的能力。在線學習算法處理每個訓練實例一次，不需要存儲和預處理，維護當前的影響目前所有訓練實例的假說，這類算法對大型數據集也是有用的，對大數據使用要求多次遍歷的批算法代價非常昂貴。批神經網絡學習算法會多次遍歷數據集，但在線學習的神經網絡僅需遍歷一次數據，然而，僅遍歷一次數據可能會有一些相關損失。所有這些算法都有一個已知的缺點，一次進行幾個例子的學習非常困難，為了解決這個問題，一些技術依賴于窗口技術，它包括存儲的最后ｎ個例子，當新例子加進來時才執行一次學習任務。加權多數算法（ＷＭ）是許多在線算法的基礎，ＷＭ維護專家集的權重向量，通過專家之間的加權多數投票預測輸出。投票感知在訓練期間能存儲更多的信息，然后使用這個精細的信息在測試集上產生更好的預測。為了計算一個預測，算法計算了每個預測向量的二進制預測，通過加權多數投票合并所有這些預測，使用的權重是上述的幸存次數，這產生了直觀的感受，“優秀”的預測向量幸存時間長，在多數投票中有較大的權重。合并分類器的概念是改進分類器性能的一個新方向，然而，在線設置中不是很明白如何直接應用集成方法。一個解決辦法是依靠用戶指定每個基本學習者輸入流中例子的數目，但該方法假設已知很多關于數據流結構的情況。也存在重新加權分類器的在線升級算法，但是這些算法假設分類器數目是固定的，此外，當基本模型由少量例子訓練時在線升級最初可能會有很大的損失，算法可能再也無法恢復。

　　３算法

　　提出眾所周知分類器優化集的選擇是多分類器系統的一個重要部分，通常把分類器輸出的獨立性當作獲得更好的多分類器系統的優勢。分類器合并項中，投票方法要求分類器無任何先決條件。當使用投票方法合并多個分類器時，如果大多數專家同意他們的觀點就會做出正確的決策，基于對這一點的信任，本文期待能獲得更好的結果。目前，有三種集成學習算法備受關注：ＷＩＮＮＯＷ算法的核心類似于感知。如果∑ｉｘｉｗｉ＞θ，它分類一個新的實例ｘ到類２，否則分類至類１。然而，如果預測的類是正確的，ＷＩＮ－ＮＯＷ如下更新它的權重，如果預測的值是ｙ′＝０，且實際值為ｙ＝１，則權重太小；因此，對于每個ｘｉ＝１，權重ｗｉ＝ｗｉβ這類的特征，其中，推廣參數β大于１。如果ｙ′＝１且ｙ＝０，則權重太大；因此，對于每個特征ｘｉ＝１，會通過設定權重ｗｉ＝ｗｉβ中０＜β＜１來降低對應的權重，稱為降級參數。ＷＩＮ－ＮＯＷ是指數更新算法的一個實例，相關特征的權重呈指數增長，但是不相關特征的權重呈指數縮小，基于這個原因，ＷＩＮＮＯＷ能迅速適應目標函數中的變化（概念漂移）。１－最近鄰（１ＮＮ）是基于這樣的原則：一般會存在與數據集內實例很靠近的實例，且這些實例有類似的屬性。如果把實例打上類標簽，則未分類實例的標簽值可以通過觀察它的最近鄰居類而確定。這個空間內實例的絕對位置不如實例之間相對位置那么重要，使用距離度量標準確定相對距離，理想的距離度量標準一定是兩個相似類的實例之間的最小距離，而不同類的實例之間的最大距離。樸素貝葉斯分類器是最簡單的貝葉斯網絡形式，因為它認定了每個特征與其他特征都是獨立的假設，給定類特征的狀態。獨立性的假設顯然幾乎總是錯誤的，然而，簡單的樸素貝葉斯方法仍然很有競爭力，盡管它提供了對真實基礎概率很差的估計。樸素貝葉斯算法用于“批模式”，意味著算法見到它的訓練實例之后還不能執行它絕大部分計算，而是在所有訓練實例上累積特定信息，然后在整個群里或者實例的“批”上執行最終的計算，然而，需要注意的是，算法中沒有固定任何東西去阻止使用它進行增量式的學習。例如，考慮增量式樸素貝葉斯算法可以運行，假設它只遍歷一次訓練數據。第１步，初始化所有的計數和總和為０，然后貫穿訓練實例，一次一個，對于每個訓練實例，給定特征向量ｘ和它的標簽值，算法貫穿特征向量并遞增合適的計數；第２步，用每個計數值除以同一類訓練實例的數目轉化這些計數和總數為概率；最后，計算之前的概率ｐ（ｋ），當作類ｋ所有訓練實例的分數。本文提出的集成算法以創建三個算法（ＮＢ、ＷＩＮＮＯＷ、１－ＮＮ）的集為起點，當新的實例到達時，算法經過它，并接收每個專家的預測。在線設置中，算法連續修改它使用的假說，重復接收模式，基于專家的預測多數投票預測它的分類，找出正確的分類，可能因此更新它的假說。本文提出的集成方法的整體框圖如圖１所示，其中，ｈｉ是每個分類器產生的假說，ｘ是分類的實例，ｙ＊是提出的在線集成方法的預測。模型的數目或運行時間參數由用戶調整，這也是算法的一個易用性指標，對于非專業性數據挖掘，本文提出的集成方法無用戶調整參數，將更吸引人。本文使用這三個具體的算法是因為它們很容易適應在線環境，不僅同一個ＷＲＩ的新標記可利用，而且下一個ＷＲＩ的標記也變得可用。對這三個算法使用簡單的多數投票方法是因為它在在線環境中使用簡單。增量訓練學習者成為新實例的打包升級實現是可用的，但是沒有新特征變得可用。本文提出的集成方法能輕松的實現每臺機器并行使用學習算法。并行和分布式計算對機器學習（ＭＬ）執行者來說很重要，ＭＬ系統并行或是分布執行的優點有：

　�。保┨岣咚俣�；

　�。玻┰黾涌墒褂玫膽�用范圍（例如它可以處理更多數據）。

　　４實驗

　�。矗�１數據集

　　本文以希臘遠程教育大學“信息”課程提供的訓練集ＨＯＵ為研究目標，ＨＯＵ的基本教育單元是模塊，一個學生每年可以注冊高達三個模塊，“信息”課程由１２個模塊組成，可得到學士學位。ＨＯＵ的ＩＮＦ１０模塊中，每學年學生必須上交四份書面作業，參加與老師面對面的四個可選會議，１１個月后應考最終的測試。希臘的大學成績系統是１０分制系統，學生分數大于等于５，則通過課程或模塊，而小于５則意味著掛科。共有１３４７個實例（學生的記錄）注冊ＩＮＦ１０，如表１所示。從兩個不同資源中收集數據，ＨＯＵ的學生注冊和老師的記錄，幾乎收集到了所有學生的有關數據�！邦悓傩浴保ㄒ蜃兞浚┍硎緦е缕谀┛荚嚋y試結果的兩個值，“失敗”表示學生表現差，“差表現”表示學年內暫停學業的學生（由于個人或專業原因或沒能力上交兩份書面作業）及不參加期末考試或參加了期末考試但分數低于５分的學生，“通過”表示完成了ＩＮＦ１０模塊，在期末考試中得到的分數超過５分。

　　４．２實驗結果及分析

　　第一階段（訓練階段）使用２００６～２００７學年收集的數據訓練每個算法，將訓練階段劃分成四個連續步驟，第１步包括來自第一份書面作業和得到的類中的數據，第２步包括第１步使用的數據和第二份書面作業的數據，第３步包括第２步使用的數據和第三份書面作業的數據，第４步包括第３步使用的數據和第４份書面作業的數據。隨后，收集新學年（２００７～２００８）的一組數據，這組數據用于測量預測值精度（測試階段），測試階段也分成四個步驟，第１步，為了預測類，使用第一份書面作業。剩余的步驟以上述相同的方式使用新學年的數據。實驗一：將本文提出的算法與每個在線學習算法（樸素貝葉斯、１－ＮＮ、ＷＩＮＮＯＷ）進行比較。本文通過調整任一算法的特定數據集來最小化任一專家系統偏見的影響，盡可能使用學習參數的缺省值，這樣可能導致較低的估計誤差率，但可能會影響所有學習算法的偏置，表中的ＷＲＩ－１標記的行表示預測精度。從表可以明顯看出，依照ｐ＜０．０５的ｔ－測試，本文提出的集成算法的分類精度優于其它各個分類器。總的來說，本文提出的集成算法在四個測試步驟的四個輸出上明顯比ＷＩＮＮＯＷ算法更精確，此外，本文提出的算法在四個測試步驟的兩個輸出上明顯比１－ＮＮ算法更精確，而且，本文提出的算法在四個測試步驟的一個輸出上明顯比ＮＢ算法更精確。實驗二：將本文提出的集成方法與每一批先進的機器學習技術的代表性算法進行了比較。批算法是用于測量學習算法精度的上層算法，大部分批算法的增量版本都不是無損的，無損在線學習算法就是當給定同一個訓練集時，這個算法會返回一個假說，與它對應的批算法返回的相同。Ｃ４．５算法是一個決策樹代表性算法，ＲＢＦ算法是一個眾所周知的估計神經網絡權重值的學習算法，是神經網絡的代表性算法，本研究中，３－ＮＮ算法結合了強魯棒性噪聲，ＲＩＰＰＥＲ是規則的代表性學習者，最后，序貫最小優化算法（ＳＭＯ）是ＳＶＭｓ的代表性算法，表中ＷＲＩ－２、ＷＲＩ－３、ＷＲＩ－４標記的行表示每個算法的預測精度。表明顯地表示出本文提出的集成方法在四個測試步驟的一個輸出上明顯比ＲＢＦ、ＢＰ和ＳＭＯ算法更精確，此外，本文提出的算法在四個測試步驟的兩個輸出上明顯比３ＮＮ算法更精確，本文提出的算法在四個測試步驟的一個輸出上明顯比ＲＩＰＰＥＲ和Ｃ４．５算法更精確，最后，本文提出的算法在四個測試步驟的四個輸出上也明顯比投票感知方法更精確。實驗三：將本文提出的方法與幾個眾所周知的集成分類器進行了比較，必須提到的是其他集成方法只能用于批模式，本文使用批集成作為測量集成方法精確度的上層算法。第三個實驗用于比較：

　�。保�Ａｄａｂｏｏｓｔ決策樹樁算法和１０次迭代算法，

　�。玻┯校保邦w樹的隨機森林集成算法，

　�。常┩镀备兄�器算法，

　�。矗�帶Ｃ４．５的旋轉森林算法和１０次迭代算法。表４明顯地表示出本文提出的集成方法在四個測試步驟的一個輸出上明顯比其他測試的批集成方法更精確。從表可以看出，正如之前提到的，本文提出的集成方法的主要優點是它能很容易地適用于在線環境，不僅相同ＷＲＩ的新標記變得可用，而且下一個ＷＲＩ的標記也可用，如果本文已經使用了另一個測試學習者和集成方法，那么當下一個ＷＲＩ的標記變成可用時，應該從零開始重新訓練分類器。實驗四：將本文的數據集中所有算法都用于批學習者，表５給出了訓練時間。從表５可以明顯看出，增量更新將比在目前所見的所有數據上返回一個批算法快得多，它甚至可能是僅有的辦法，如果不能存儲目前所見的所有數據或者如果實時時間內需要執行在線預測和更新，至少它是非常迅速的。最大限度減小所需的訓練時間是學者們非常感興趣的事，正如前面提到的，數據分析主要的研究領域是可用于數以百計訓練實例問題的精確度技術的探索。

　　５結語

　　本文提出了一種使用投票方法結合三個在線分類器的集成算法：樸素貝葉斯、１－ＮＮ和ＷＩＮ－ＮＯＷ算法，通過非常精確的預測，老師有能力知道哪些學生能完成模塊或課程，這個預測初始精度為７３％，基于學生的人數統計數據，在期末考試前達到８２％。數據集來自模塊“信息介紹”，但結論是可推廣的，目前引起了學者們對ＨＯＵ大部分模塊廣泛的研究興趣。實驗結果表明，相比幾種較為先進的分類器，本文提出的分類集成算法能夠更加準確地預測學生的表現。

【分類器組合增量集成的遠程教育論文】相關文章：

關于遠程教育的論文12-04

項目集成管理公路工程論文12-04

次級同步整流及輸出均流的集成控制器03-18

物理小組合作教學論文12-07

一種新型集成解復用接收器的設計11-22

科技論文的分類和論文寫作方法03-20

開放英語自學模式遠程教育論文12-02

本質分類教育改革論文12-04

英語小組合作學習的幾點思考論文12-03

知識集成提升企業集成創新能力初探02-27