淺談機(jī)器的學(xué)習(xí)方法
篇一：機(jī)器學(xué)習(xí)的方法
【摘 要】本文以什么是機(jī)器學(xué)習(xí)、機(jī)器學(xué)習(xí)的發(fā)展歷史和機(jī)器學(xué)習(xí)的主要策略這一線索，對(duì)機(jī)器學(xué)習(xí)進(jìn)行系統(tǒng)性的描述。接著，著重介紹了流形學(xué)習(xí)、李群機(jī)器學(xué)習(xí)和核機(jī)器學(xué)習(xí)三種新型的機(jī)器學(xué)習(xí)方法，為更好的研究機(jī)器學(xué)習(xí)提供了新的思路。
【關(guān)鍵詞】機(jī)器學(xué)習(xí)；人工智能；李群機(jī)器學(xué)習(xí)；核機(jī)器學(xué)習(xí)；流形學(xué)習(xí)
計(jì)算機(jī)視覺(jué)是指用計(jì)算機(jī)實(shí)現(xiàn)人的視覺(jué)功能，希望能根據(jù)感知到的圖像( 視頻) 對(duì)實(shí)際的目標(biāo)和場(chǎng)景內(nèi)容做出有意義的判斷如何能正確識(shí)別目標(biāo)和行為非常關(guān)鍵，其中一個(gè)最基本的和最核心的問(wèn)題是對(duì)圖像的有效表達(dá) 如果所選的表達(dá)特征能夠有效地反映目標(biāo)和行為的本質(zhì)，那么對(duì)于理解圖像就會(huì)取得事半功倍的效果 正因?yàn)槿绱耍P(guān)于機(jī)器學(xué)習(xí)的發(fā)展歷史 特征的構(gòu)建和選取一直得到廣泛關(guān)注 近些年來(lái)人們已構(gòu)建出許多特征，并且得到了廣泛的應(yīng)用，例如等等 設(shè)計(jì)特征是一種利用人類的智慧和先驗(yàn)知識(shí)，并且將這些知識(shí)應(yīng)用到目標(biāo)和行為識(shí)別技術(shù)中的很好的方式 但是，如果能通過(guò)無(wú)監(jiān)督的方式讓機(jī)器自動(dòng)地從樣本中學(xué)習(xí)到表征這些樣本的更加本質(zhì)的特征則會(huì)使得人們更好地用計(jì)算機(jī)來(lái)實(shí)現(xiàn)人的視覺(jué)功能，因此也是近些年人們關(guān)注的一個(gè)熱點(diǎn)方向 深度學(xué)習(xí)( deeplearning) 的目的就是通過(guò)逐層的構(gòu)建一個(gè)多層的網(wǎng)絡(luò)來(lái)使得機(jī)器能自動(dòng)地學(xué)習(xí)到反映隱含在數(shù)據(jù)內(nèi)部的關(guān)系，從而使得學(xué)習(xí)到的特征更具有推廣性和表達(dá)力本文旨在向讀者介紹深度學(xué)習(xí)的原理及它在目標(biāo)和行為識(shí)別中的最新動(dòng)態(tài)，希望吸引更多的研究者進(jìn)行討論，并在這一新興的具有潛力的視覺(jué)領(lǐng)域做出更好的成果 首先對(duì)深度學(xué)習(xí)的動(dòng)機(jī)歷史以及應(yīng)用進(jìn)行了概括說(shuō)明; 主要介紹了基于限制玻爾 茲曼機(jī)的深度學(xué)習(xí)架構(gòu)和基于自編碼器的深度學(xué)習(xí)架構(gòu)，以及深度學(xué)習(xí)
近些年的進(jìn)展，主要討論了去噪自編碼器( denoisingautoencoder)，卷積限制玻爾茲曼機(jī)，三元因子玻爾茲曼機(jī)( 3-way factorizedBoltzmannmachine)，以及神經(jīng)自回歸分布估計(jì)器( NADE) 等一些新的深度學(xué)習(xí)單元; 對(duì)目前深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)中的一些應(yīng)用以及取得的成果進(jìn) 行介紹; 最后，對(duì)深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的關(guān)系，深度學(xué)習(xí)的本質(zhì)等問(wèn)題加以討論，提出目前深度學(xué)習(xí)理論方面需要解決的主要問(wèn)題
1機(jī)器學(xué)習(xí)的發(fā)展歷程
機(jī)器學(xué)習(xí)的發(fā)展大致可以分為四個(gè)階段.
第一階段：20世紀(jì)50年代中葉至60年代中葉這個(gè)時(shí)期是機(jī)器學(xué)習(xí)研究的熱烈時(shí)代 研究對(duì)象是沒(méi)有知識(shí)的學(xué)習(xí)，目標(biāo)是各自組織和適應(yīng)系統(tǒng)此階段有兩個(gè)代表，一是1957年Rosenblatt提出了感知機(jī)算法，這是第一個(gè)具有重要學(xué)術(shù)意義的機(jī)器學(xué)習(xí)的算法 二是50年代末，Samuel編寫(xiě)了跳棋程序，利用啟發(fā)式搜索技術(shù)，可以從經(jīng)驗(yàn)和棋譜中進(jìn)行學(xué)習(xí)，不斷調(diào)整棋盤(pán)評(píng)價(jià)函數(shù)，提高棋藝.
第二階段：20世紀(jì)60年代中葉至70年代中葉，機(jī)器學(xué)習(xí)的冷靜時(shí)期本階段是模擬人類的學(xué)習(xí)過(guò)程，采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為內(nèi)部描述 代表有：1969年Minsky與Papert出版的對(duì)機(jī)器學(xué)習(xí)研究有深遠(yuǎn)影響的著作<感知機(jī)>一書(shū).
第三階段：20世紀(jì)70年代中葉至80年代中葉，稱為復(fù)興時(shí)期在這個(gè)時(shí)期，人們從學(xué)習(xí)單一概念延伸至學(xué)習(xí)的多個(gè)概念，探索不同的學(xué)習(xí)策略和各種學(xué)習(xí)方法在此階段中，研究
者已經(jīng)將機(jī)器學(xué)習(xí)系統(tǒng)與現(xiàn)實(shí)應(yīng)用相結(jié)合，完成相應(yīng)的學(xué)習(xí)過(guò)程，取得了很大的成功1980年，在美國(guó)召開(kāi)的第一屆機(jī)器學(xué)習(xí)國(guó)際研討會(huì)，標(biāo)志著機(jī)器學(xué)習(xí)在全世界范圍內(nèi)的全面興起.
第四階段：1986年至今 由于作為機(jī)器學(xué)習(xí)科學(xué)基礎(chǔ)之一的神經(jīng)科學(xué)研究的重新興起，機(jī)器學(xué)習(xí)也進(jìn)一步受到了人們的重視另一方面，對(duì)實(shí)驗(yàn)研究和應(yīng)用研究得到前所未有的重視.
2.1 機(jī)械學(xué)習(xí)
機(jī)械學(xué)習(xí)是一種最基本的學(xué)習(xí)策略，把環(huán)境提供的信息簡(jiǎn)單存儲(chǔ)起來(lái)，不經(jīng)過(guò)任何推理，“死記硬背”式的學(xué)習(xí)。適合于一些環(huán)境相對(duì)穩(wěn)定，輸入輸出模式相對(duì)固定的系統(tǒng)中，例如醫(yī)生給病人看病。
2.2 傳授學(xué)習(xí)
傳授學(xué)習(xí)又叫做指導(dǎo)式學(xué)習(xí)或示教學(xué)習(xí)。傳授學(xué)習(xí)的學(xué)習(xí)過(guò)程可以簡(jiǎn)單地描述如下：（1）請(qǐng)求：先向指導(dǎo)者請(qǐng)求提出建議；（2）解釋：接受建議并將其轉(zhuǎn)化為內(nèi)部表示形式；（3）操作化：將解釋后的建議轉(zhuǎn)化為具體的知識(shí)；（4）歸并：將得到的新知識(shí)歸并到知識(shí)庫(kù)中；（5）評(píng)價(jià)：對(duì)新知識(shí)進(jìn)行評(píng)價(jià)，常用方法有，檢查新知識(shí)與知識(shí)庫(kù)里的知識(shí)是否矛盾，或者使 用新知識(shí)執(zhí)行某些任務(wù)，觀察其執(zhí)行情況。
2.3 演繹學(xué)習(xí)
演繹學(xué)習(xí)以演繹推理為基礎(chǔ)。演繹推理是一種有一般到個(gè)別的推理方法，其核心是三段論。例如，1動(dòng)物都會(huì)死亡；2狗是一種動(dòng)物；3狗會(huì)死亡。只要對(duì)給定的知識(shí)進(jìn)行演繹的保真推理，就能得出一個(gè)正確的新結(jié)論，然后把有價(jià)值的結(jié)論存儲(chǔ)起來(lái)。
2.4 歸納學(xué)習(xí)
歸納學(xué)習(xí)以歸納推理為基礎(chǔ)。從某個(gè)概念的一系列正例和反例中歸納出一個(gè)一般的概念描述。歸納學(xué)習(xí)可分為有導(dǎo)師學(xué)習(xí)和無(wú)導(dǎo)師學(xué)習(xí)。有導(dǎo)師學(xué)習(xí)，又稱示例學(xué)習(xí)。給學(xué)習(xí)系統(tǒng)提供正例和反例，學(xué)習(xí)系統(tǒng)通過(guò)歸納算法求解出一個(gè)總的概念描述。無(wú)導(dǎo)師學(xué)習(xí)，又稱觀察與發(fā)現(xiàn)學(xué)習(xí)。通過(guò)由環(huán)境提供的觀察來(lái)進(jìn)行學(xué)習(xí)，而且這些觀察是未經(jīng)過(guò)知道者分類的例子。
2.5 類比學(xué)習(xí)
類比學(xué)習(xí)是一種利用相似性來(lái)認(rèn)識(shí)新事物的學(xué)習(xí)方式，其基礎(chǔ)是類比推理�？梢钥醋魇茄堇[學(xué)習(xí)和歸納學(xué)習(xí)的組合學(xué)習(xí)形式。
學(xué)習(xí)過(guò)程：
�。�1）聯(lián)想搜索匹配：提取特征值，搜索和它相似的已知事物；
�。�2）檢驗(yàn)相似程度：判斷相似程度，相似程度達(dá)到一定閾
值，則說(shuō)明匹配成功；
�。�3）修正變換求解：即類比映射，把對(duì)已知事物的有關(guān)知
識(shí)進(jìn)行適當(dāng)?shù)恼{(diào)整或變換，以求出新事物的解；
�。�4）更新知識(shí)庫(kù)：求出新事物的解以后，將新事物及其解
并入知識(shí)庫(kù)。
3 機(jī)器學(xué)習(xí)方法
3.1 流形學(xué)習(xí)
現(xiàn)實(shí)世界中的數(shù)據(jù)，例如語(yǔ)音信號(hào)、數(shù)字圖像或功能性磁共振圖像等，通常都是高維數(shù)據(jù)，為了正確地了解這些數(shù)據(jù)，我們就需要對(duì)其進(jìn)行降維，降維的目的就是要找出隱藏在高維數(shù)據(jù)中的低維結(jié)構(gòu)。流形學(xué)習(xí)是一種新的數(shù)據(jù)降維方法，能揭示數(shù)據(jù)的內(nèi)在變化規(guī)律，其目標(biāo)是發(fā)現(xiàn)嵌入在高維數(shù)據(jù)空間中的低維流形結(jié)構(gòu)，并給出一個(gè)有效的低維表示。2000年以來(lái)，流形學(xué)習(xí)在包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)等多個(gè)研究領(lǐng)域得到了廣泛的應(yīng)用。
3.2 李群機(jī)器學(xué)習(xí)
李群機(jī)器學(xué)習(xí)（Lie Group Machine Learning，LML）作為機(jī)器學(xué)習(xí)領(lǐng)域的一種新的學(xué)習(xí)方法，一方面繼承流形學(xué)習(xí)的優(yōu)點(diǎn)，另一方面借用李群的思想，形成了具有創(chuàng)新特色的學(xué)習(xí)范式．自2004年提出至今，已引起加拿大、愛(ài)爾蘭、芬蘭、意大利、美國(guó)等國(guó)內(nèi)外同行的廣泛關(guān)注。李群結(jié)構(gòu)是目前學(xué)術(shù)界公認(rèn)的對(duì)學(xué)習(xí)問(wèn)題研究很有用的一套理論工具。從數(shù)據(jù)分析的角度來(lái)說(shuō)，用機(jī)器學(xué)習(xí)進(jìn)行數(shù)據(jù)分析（數(shù)據(jù)挖掘），其目的就是揭示這些數(shù)據(jù)具有的規(guī)律，從而幫助用戶提供解釋的依據(jù)。李群一方面具有好的數(shù)學(xué)結(jié)構(gòu)，另一方面物理學(xué)家廣泛使用李群方法來(lái)處理物理學(xué)中復(fù)雜數(shù)據(jù)的啟發(fā)。因此，引進(jìn)李群理論對(duì)機(jī)器學(xué)習(xí)是一種可以探索的新思路。
3.3 核機(jī)器學(xué)習(xí)
20世紀(jì)90年代初隨著統(tǒng)計(jì)學(xué)習(xí)理論的完善和線性超平面函數(shù)集容量控制方法的發(fā)現(xiàn)，提出了著名的支撐矢量機(jī)方法（SVMs）。隨后，以支撐矢量機(jī)為核心算法的核機(jī)器（KM）方法和Fisher判斷分析（FDA）方法得到了機(jī)器學(xué)習(xí)、模式識(shí)別、網(wǎng)絡(luò)搜索引擎技術(shù)、計(jì)算機(jī)視覺(jué)等等領(lǐng)域的廣泛關(guān)注。核機(jī)器方法以統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)，巧妙利用了Mercer核技巧，使其獲得了良好的推廣能力、強(qiáng)大的非線性處理能力、靈活的相似性測(cè)度定義和簡(jiǎn)潔的模型表示，是目前在特征提取、模式識(shí)別、數(shù)據(jù)發(fā)掘領(lǐng)域公認(rèn)的具有最佳性能的方法之一。
4.1基于限制玻爾茲曼機(jī)的深度學(xué)習(xí)架構(gòu)
玻爾茲曼機(jī)( Boltzmannmachine)本質(zhì)上是一種能量模型 能量模型是指對(duì)于參數(shù)空間( configurationspace) 中每一種情況均有一個(gè)標(biāo)量形式的能量與之對(duì)應(yīng) 能量函數(shù)就是從參數(shù)空間到能量的映射函數(shù)，人們希望通過(guò)學(xué)習(xí)使得能量函數(shù)有符合要求的性質(zhì) 從結(jié)構(gòu)上來(lái)說(shuō)，玻爾茲曼機(jī)是雙層無(wú)向全連通圖，如圖3所示 為了方便起見(jiàn)，這里僅討論觀測(cè)變量和隱變量均是0 1變量的情況
玻爾茲曼機(jī)的能量函數(shù)為E( x，h) =－b'x－c'h－h(huán)'Wx－x'Ux－h(huán)'Vh ( 1)式中，x表示可見(jiàn)層，h表示隱層，b {0，1}K，c{0，1}D分別表示可見(jiàn)層和隱層單元的偏置( offset) ， KD分別表示可見(jiàn)層和隱層單元的數(shù)目 WUV分別表示觀測(cè)層和隱層之間，觀測(cè)層變量之間，隱層變量之間的連接權(quán)重矩陣在實(shí)際中，由于計(jì)算樣本概率密度時(shí)歸一化因子的存在，需要使用馬爾可夫蒙特卡洛方法( MCMC)來(lái)對(duì)玻爾茲曼機(jī)進(jìn)行優(yōu)化 但是MCMC方法收斂速度很慢，因此人們提出限制玻爾茲曼機(jī)和對(duì)比散度方法來(lái)解決這一問(wèn)題.
4.2限制玻爾茲曼機(jī)
限制玻爾茲曼機(jī)是對(duì)全連通的玻爾茲曼機(jī)進(jìn)行簡(jiǎn)化，其限制條件是在給定可見(jiàn)層或者隱層中的其中一層后，另一層的單元彼此獨(dú)立，即式( 1) 中U和V矩陣中的元素均等于0 層間單元獨(dú)立的條件是構(gòu)成高效的訓(xùn)練限制玻爾茲曼機(jī)的方法的條件之 一，而ＲBM也因此成為深度置信網(wǎng)絡(luò)( DBN)的構(gòu)成單元 限制玻爾茲曼機(jī)的圖模型如圖4所示 可見(jiàn)，層內(nèi)單元之間沒(méi)有連接關(guān)系，層間單元是全連接關(guān)系
將式( 1) 中層間連接矩陣U，V置零，得到限制玻爾茲曼機(jī)的能量函數(shù)E( x，h) =－b'x－c'h－h(huán)'Wx 由于限制玻爾茲曼機(jī)取消了層內(nèi)單元之間的連接，所以可以將其條件概率分布進(jìn)行分解，這樣就簡(jiǎn)化了模型優(yōu)化過(guò)程中的運(yùn)算 但是在其優(yōu)化過(guò)程中仍然需要基于MCMC方法的吉布斯采樣，訓(xùn)練過(guò)程仍然十分漫長(zhǎng)，因此人們提出對(duì)比散度方法來(lái)加快模型優(yōu)化. 對(duì)比散度( contrastivedivergence) 是Hinton在2006年提出來(lái)的快速地訓(xùn)練限制玻爾茲曼機(jī)的方法，該方法在實(shí)踐中得到廣泛的應(yīng)用 對(duì)比散度主要是將對(duì)數(shù)似然函數(shù)梯度的求解進(jìn)行了兩個(gè)近似:
(1) 使用從條件分布中得到的樣本來(lái)近似替代計(jì)算梯度時(shí)的平均求和這是因?yàn)樵谶M(jìn)行隨機(jī)梯度下降法進(jìn)行參數(shù)優(yōu)化時(shí)已經(jīng)有平均的效果，而如果每次計(jì)算都進(jìn)行均值求和則這些效果會(huì)相互抵消，而且會(huì)造成很大的計(jì)算時(shí)間的浪費(fèi)
(2) 在進(jìn)行吉布斯采樣( Gibbs sampling) 時(shí)只采用一步，即僅僅進(jìn)行一次吉布斯采樣這種一次吉布斯采樣方法會(huì)使得采樣得到的樣本分布與真實(shí)分布存在一定的誤差 但是實(shí)踐發(fā)現(xiàn)，如果僅作一次迭代的話，就已經(jīng)能得到令人滿意的結(jié)果將限制玻爾茲曼機(jī)逐層疊加，就構(gòu)成了深度置信網(wǎng)絡(luò)( DBN) 在深度置信網(wǎng)絡(luò)中底層的輸出作為上一層的輸入，每層是一個(gè)限制
玻爾茲曼機(jī)，使用對(duì)比散度的方法單獨(dú)訓(xùn)練 為了達(dá)到更好的識(shí)別效果，往往還要對(duì)深度置信網(wǎng)絡(luò)每層的參數(shù)進(jìn)行微調(diào)使用限制玻爾茲曼機(jī)構(gòu)建成深度網(wǎng)絡(luò)，在一些公開(kāi)的數(shù)據(jù)集上取得了非常好的效果.
5機(jī)器學(xué)習(xí)系統(tǒng)的模型及其特征
5.1 機(jī)器學(xué)習(xí)系統(tǒng)的模型
�。�1） 外部環(huán)境是以某種形式表達(dá)的信息或知識(shí)的集合，是知識(shí)和信息的來(lái)源，執(zhí)行的對(duì)象和任務(wù) 外部環(huán)境像系統(tǒng)提高信息的質(zhì)量是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的首要因素。（2）學(xué)習(xí)是將外部環(huán)境提供的信息，加工成為有效信息的過(guò)程，它也是學(xué)習(xí)系統(tǒng)的核心，包括采集信息接受監(jiān)督指導(dǎo)學(xué)習(xí)推理修改知識(shí)庫(kù)等其他功能。（3）知識(shí)庫(kù)是影響學(xué)習(xí)系統(tǒng)設(shè)計(jì)的第二大因素，根據(jù)知識(shí)的不同，選擇不同的表達(dá)方式，兼顧表達(dá)能力強(qiáng)易于推理易于修改知識(shí)庫(kù)和知識(shí)表示易于擴(kuò)展等幾方面，均是知識(shí)庫(kù)在表達(dá)上需要符合的要求。（4）執(zhí)行是利用知識(shí)庫(kù)完成某種任務(wù)，并進(jìn)行識(shí)別論證決策判定，將獲得的信息進(jìn)行反饋，以修正和完善下一步的學(xué)習(xí)。
5.2 機(jī)器學(xué)習(xí)系統(tǒng)的重要特征
機(jī)器學(xué)習(xí)系統(tǒng)通常具有如下重要特征：（1）目的性系統(tǒng)知道學(xué)習(xí)什么，學(xué)習(xí)的行為具有高度的目的性。（2）結(jié)構(gòu)性系統(tǒng)能修改和完善知識(shí)結(jié)構(gòu)和組織形式。（3）有效性系統(tǒng)學(xué)習(xí)到的知識(shí)具有適應(yīng)和符合實(shí)踐的能力，能夠?qū)ο到y(tǒng)性能的改善起到正面的作用。（4）開(kāi)放性系統(tǒng)在與環(huán)境進(jìn)行信息交互的過(guò)程中，能使自身不斷進(jìn)化。
6.機(jī)器學(xué)習(xí)策略
對(duì)于環(huán)境提供信息，機(jī)器要運(yùn)用一定的學(xué)習(xí)策略轉(zhuǎn)換為知識(shí)，并存儲(chǔ)在知識(shí)庫(kù)中，為下一步的執(zhí)行作保證根據(jù)策略使用推理的多少和難易程度，學(xué)習(xí)策略可以分為四類： 1機(jī)械學(xué)習(xí)
這種學(xué)習(xí)策略，無(wú)需任何推理過(guò)程或計(jì)算轉(zhuǎn)換過(guò)程，可以直接將環(huán)境提供的信息進(jìn)行存儲(chǔ)該學(xué)習(xí)系統(tǒng)主要考慮三個(gè)方面：第一：存儲(chǔ)組織的形式利于檢索在采用機(jī)械學(xué)習(xí)的系統(tǒng)中，主要采用的是索引存儲(chǔ)的方式，在這種情況下，只有檢索一個(gè)項(xiàng)目比重新分析計(jì)算更加快捷，這種學(xué)習(xí)策略才具有一定的意義 采用適當(dāng)?shù)拇鎯?chǔ)組織形式，最大限度地提高檢索效率，縮短檢索時(shí)間，是機(jī)械學(xué)習(xí)要解決的重大問(wèn)題第二：環(huán)境穩(wěn)定存儲(chǔ)信息適用性高因?yàn)橄到y(tǒng)不需要對(duì)信息做過(guò)多的加工，學(xué)習(xí)部分沒(méi)有推理的過(guò)程，這對(duì)于環(huán)境的依賴程度就大大提高要求環(huán)境具有高度的穩(wěn)定性系統(tǒng)的學(xué)習(xí)是通過(guò)事先編好的程序獲得，是建立在這次獲得的知識(shí)適用于下次的情況的假設(shè)上的，如果環(huán)境變化的過(guò)于頻繁，每次存的知識(shí)都不能適用，這種策略也就失去其意義第三：權(quán)衡存儲(chǔ)和計(jì)算之間的關(guān)系學(xué)習(xí)的目的是改進(jìn)系統(tǒng)的效率，如果檢索比重新計(jì)算來(lái)的慢，那么就降低了系統(tǒng)的執(zhí)行力 機(jī)械學(xué)習(xí)也就失去了意義。
2歸納學(xué)習(xí)
歸納推理是由環(huán)境提供足夠多的實(shí)例或反例，應(yīng)用歸納的方法，得出一般性的規(guī)律或?qū)τ诟拍畹囊话阈缘拿枋鲞@是一個(gè)從個(gè)別到一般的過(guò)程歸納學(xué)習(xí)可以獲得新的概念，創(chuàng)立新的規(guī)則，發(fā)現(xiàn)新的理論 其原理是在大量觀察的基礎(chǔ)上通過(guò)假設(shè)形成一個(gè)科學(xué)理論 按其有無(wú)教師的指導(dǎo)，可以分為示例學(xué)習(xí)及觀察與發(fā)現(xiàn)學(xué)習(xí)示例學(xué)習(xí)，又稱為概念獲取 確定概念的一
篇二：機(jī)器學(xué)習(xí)方法及應(yīng)用研究
摘要：本文介紹了機(jī)器博弈技術(shù)，給出了提升計(jì)算機(jī)的智能程度是研究機(jī)器博弈技術(shù)的重點(diǎn)。設(shè)計(jì)了五子棋游戲算法，由于算法設(shè)計(jì)決定了計(jì)算機(jī)的智能程度，該算法沒(méi)有用到機(jī)器學(xué)習(xí)，計(jì)算機(jī)不具有智能。分析了卡斯帕羅夫和“深藍(lán)”的不同特點(diǎn)，給出了“深藍(lán)”戰(zhàn)勝世界冠軍的啟示，只有利用機(jī)器學(xué)習(xí)技術(shù)開(kāi)發(fā)的具備學(xué)習(xí)能力的計(jì)算機(jī)才具有智能。
關(guān)鍵詞：機(jī)器博弈，機(jī)器學(xué)習(xí)，智能0、引言
很早人類就有制造機(jī)器人的幻想，例如黃帝的“指南車(chē)”，諸葛亮的“木牛流馬”�！度龂�(guó)演義》中諸葛亮發(fā)明的運(yùn)輸工具稱為“木牛流馬”，解決了川山山區(qū)軍糧運(yùn)輸?shù)碾y題。根據(jù)文獻(xiàn)，諸葛亮最具有實(shí)物性質(zhì)的智慧結(jié)晶就是“木牛流馬”。
機(jī)器博弈既可以是計(jì)算機(jī)與計(jì)算機(jī)之間的博弈，也可以是計(jì)算機(jī)與人類之間的博弈。諸如戰(zhàn)爭(zhēng)、競(jìng)技、下棋、打牌等一類競(jìng)爭(zhēng)性智能活動(dòng)稱為博弈[1]。 1、“深藍(lán)”戰(zhàn)勝世界冠軍
1997年5月，美國(guó)IBM公司的“深藍(lán)”超級(jí)計(jì)算機(jī)首次擊敗國(guó)際象棋男子世界冠軍卡斯帕羅夫。表1給出了卡斯帕羅夫和“深藍(lán)”具有的不同特點(diǎn)。
學(xué)習(xí)是人類獲取知識(shí)的重要途徑和自然智能的重要標(biāo)志，機(jī)器學(xué)習(xí)則是機(jī)器獲取知識(shí)的重要途徑和人工智能的重要標(biāo)志[2]�！吧钏{(lán)”之所以能擊敗卡斯帕羅夫，最主
______________________
作者簡(jiǎn)介：馬健喆，男，(1995,11-)，山西太原人，本科，主要研究方向?yàn)樾畔⑻幚怼?/p>
要的原因是“深藍(lán)”具有較強(qiáng)的學(xué)習(xí)能力和推理能力。
表1卡斯帕羅夫和“深藍(lán)”的不同特點(diǎn)
學(xué)習(xí)過(guò)程與推理過(guò)程密切相關(guān)。按照學(xué)習(xí)中使用推理的多少，機(jī)器學(xué)習(xí)所采用的策略總體上可以分為機(jī)械學(xué)習(xí)、示教學(xué)習(xí)、示例學(xué)習(xí)和類比學(xué)習(xí)。學(xué)習(xí)中所用的推理越多，系統(tǒng)的能力越強(qiáng)[3,4]。 2、五子棋游戲的設(shè)計(jì)
設(shè)計(jì)五子棋游戲，實(shí)現(xiàn)簡(jiǎn)單的五子棋游戲；插入一個(gè)下載的棋盤(pán)圖片作為自己的棋盤(pán)；插入一段音樂(lè)實(shí)現(xiàn)背景音樂(lè)的播放；當(dāng)有輸贏出現(xiàn)時(shí)彈出一個(gè)顯示戰(zhàn)況的對(duì)話框；在菜單欄上添加一個(gè)戰(zhàn)況的標(biāo)題，當(dāng)單擊時(shí)彈出顯示當(dāng)時(shí)戰(zhàn)況的對(duì)話框。
五子棋棋局與圍棋相同，棋子分為黑、白兩種顏色，棋盤(pán)為19?19，在棋盤(pán)線交叉點(diǎn)上放置棋子。計(jì)算機(jī)與人對(duì)局，各執(zhí)一種顏色的棋子，輪流下一子，先將橫、豎或斜線的5個(gè)或5個(gè)以上同色棋子連成不間斷的一排者為勝�，F(xiàn)代五子棋棋盤(pán)已標(biāo)準(zhǔn)化為15?15的方格棋盤(pán)。
本文采用MFC對(duì)話框構(gòu)建五子棋棋盤(pán)，直接截取五子棋棋盤(pán)圖片作為對(duì)話框背景；采用MFC按鈕控件作為五子棋游戲“悔棋”、“音樂(lè)”、“戰(zhàn)況”、“重新開(kāi)始”的選項(xiàng)按鍵；實(shí)現(xiàn)五子棋人機(jī)對(duì)戰(zhàn)，人通過(guò)鼠標(biāo)點(diǎn)擊下子；設(shè)計(jì)五子棋游戲算法實(shí)現(xiàn)計(jì)算機(jī)的下子點(diǎn)的選擇。
圖1給出了五子棋游戲算法的程序流程圖，具體步驟如下：
圖1五子棋游戲算法的程序流程圖
�。�1）對(duì)局雙方各執(zhí)一種顏色的棋子；
（2）空棋盤(pán)開(kāi)局；
�。�3）玩家（黑方）首先落子，接著計(jì)算機(jī)（白方）作出決策，落子，交替下子，每次只能下一子；
�。�4）棋子下在棋盤(pán)的空白點(diǎn)上，棋子下定后，不得向其它點(diǎn)移動(dòng)，不得從棋盤(pán)上拿掉或拿起另落別處；
�。�5）黑方的第一枚棋子可下在棋盤(pán)任意交叉點(diǎn)上；
�。�6）輪流下子是雙方的權(quán)利；
�。�7）連五取勝。在對(duì)弈過(guò)程中若某一方出現(xiàn)“成五”（“五連”和“多連”的總稱），則判定為勝。若棋盤(pán)下滿還沒(méi)有勝方，則為平局。
該五子棋游戲算法沒(méi)有用到機(jī)器學(xué)習(xí)，計(jì)算機(jī)不具有智能。圖2、圖3分別給出了利用MFC實(shí)現(xiàn)五子棋游戲程序的運(yùn)行結(jié)果。本文設(shè)計(jì)實(shí)現(xiàn)的五子棋游戲可以根據(jù)個(gè)人愛(ài)好設(shè)計(jì)界面，人機(jī)交互方便、簡(jiǎn)單。
圖2 五子棋游戲程序的運(yùn)行結(jié)果
圖3 五子棋游戲程序的運(yùn)行結(jié)果
算法設(shè)計(jì)決定了計(jì)算機(jī)的智能程度，可用于五子棋計(jì)算的算法包括博弈樹(shù)、負(fù)極大值算法、???算法、置換表技術(shù)、哈希表技術(shù)、歷史啟發(fā)等。怎樣綜合使用各種算法，提升計(jì)算機(jī)的智能程度是研究機(jī)器博弈技術(shù)的重點(diǎn)。 3、結(jié)論
機(jī)器學(xué)習(xí)是計(jì)算機(jī)獲取智能的途徑，本文設(shè)計(jì)了五子棋游戲算法，實(shí)現(xiàn)了五子棋游戲。下一步工作將機(jī)器學(xué)習(xí)方法引入到五子棋游戲的設(shè)計(jì)，提高計(jì)算機(jī)的學(xué)習(xí)能力和推理能力。
篇三：基于機(jī)器學(xué)習(xí)的文本分類方法
基于機(jī)器學(xué)習(xí)算法的文本分類方法綜述
摘要：文本分類是機(jī)器學(xué)習(xí)領(lǐng)域新的研究熱點(diǎn)�；跈C(jī)器學(xué)習(xí)算法的文本分類方法比傳統(tǒng)的文本分類方法優(yōu)勢(shì)明顯。本文綜述了現(xiàn)有的基于機(jī)器學(xué)習(xí)的文本分類方法，討論了各種方法的優(yōu)缺點(diǎn)，并指出了文本分類方法未來(lái)可能的發(fā)展趨勢(shì)。
1. 引言
隨著計(jì)算機(jī)技術(shù)、數(shù)據(jù)庫(kù)技術(shù)，網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，Internet的廣泛應(yīng)用，信息交換越來(lái)越方便，各個(gè)領(lǐng)域都不斷產(chǎn)生海量數(shù)據(jù)，使得互聯(lián)網(wǎng)數(shù)據(jù)及資源呈現(xiàn)海量特征，尤其是海量的文本數(shù)據(jù)。如何利用海量數(shù)據(jù)挖掘出有用的信息和知識(shí)，方便人們的查閱和應(yīng)用，已經(jīng)成為一個(gè)日趨重要的問(wèn)題。因此，基于文本內(nèi)容的信息檢索和數(shù)據(jù)挖掘逐漸成為備受關(guān)注的領(lǐng)域。文本分類(text categorization，TC)技術(shù)是信息檢索和文本挖掘的重要基礎(chǔ)技術(shù)，其作用是根據(jù)文本的某些特征，在預(yù)先給定的類別標(biāo)記(label)集合下，根據(jù)文本內(nèi)容判定它的類別。傳統(tǒng)的文本分類模式是基于知識(shí)工程和專家系統(tǒng)的，在靈活性和分類效果上都有很大的缺陷。例如卡內(nèi)基集團(tuán)為路透社開(kāi)發(fā)的Construe專家系統(tǒng)就是采用知識(shí)工程方法構(gòu)造的一個(gè)著名的文本分類系統(tǒng)，但該系統(tǒng)的開(kāi)發(fā)工作量達(dá)到了10個(gè)人年，當(dāng)需要進(jìn)行信息更新時(shí)，維護(hù)非常困難。因此，知識(shí)工程方法已不適用于日益復(fù)雜的海量數(shù)據(jù)文本分類系統(tǒng)需求
[1]。20世紀(jì)90年代以來(lái)，機(jī)器學(xué)習(xí)的分類算法有了日新月異的發(fā)展，很多分類器模型逐步被應(yīng)用到文本分類之中，比如支持向量機(jī)(SVM，Support Vector Machine)[2-4]、最近鄰法(Nearest Neighbor)[5]、決策樹(shù)(Decision tree)[6]、樸素貝葉斯(Naive Bayes)[7]等。逐漸成熟的基于機(jī)器學(xué)習(xí)的文本分類方法，更注重分類器的模型自動(dòng)挖掘和生成及動(dòng)態(tài)優(yōu)化能力，在分類效果和靈活性上都比之前基于知識(shí)工程和專家系統(tǒng)的文本分類模式有所突破，取得了很好的分類效果。
本文主要綜述基于機(jī)器學(xué)習(xí)算法的文本分類方法。首先對(duì)文本分類問(wèn)題進(jìn)行概述，闡述文本分類的一般流程以及文本表述、特征選擇方面的方法，然后具體研究基于及其學(xué)習(xí)的文本分類的典型方法，最后指出該領(lǐng)域的研究發(fā)展趨勢(shì)。
2．文本自動(dòng)分類概述
文本自動(dòng)分類可簡(jiǎn)單定義為：給定分類體系后，根據(jù)文本內(nèi)容自動(dòng)確定文本關(guān)聯(lián)的類別。從數(shù)學(xué)角度來(lái)看，文本分類是一個(gè)映射過(guò)程，該映射可以是一一映射，也可以是一對(duì)多映射過(guò)程。文本分類的映射規(guī)則是，系統(tǒng)根據(jù)已知類別中若干樣本的數(shù)據(jù)信息總結(jié)出分類的規(guī)律性，建立類別判別公式或判別規(guī)則。當(dāng)遇到新文本時(shí)，根據(jù)總結(jié)出的類別判別規(guī)則確定文本所屬的類別。也就是說(shuō)自動(dòng)文本分類通過(guò)監(jiān)督學(xué)習(xí)自動(dòng)構(gòu)建出分類器，從而實(shí)現(xiàn)對(duì)新的給定文本的自動(dòng)歸類。文本自動(dòng)分類一般包括文本表達(dá)、特征選取、分類器的選擇與訓(xùn)練、分類等幾個(gè)步驟，其中文本表達(dá)和特征選取是文本分類的基礎(chǔ)技術(shù)，而分類器的選擇與訓(xùn)練則是文本自動(dòng)分類技術(shù)的重點(diǎn)，基于機(jī)器學(xué)習(xí)的文本分來(lái)就是通過(guò)將機(jī)器學(xué)習(xí)領(lǐng)域的分類算法用于文本分類中來(lái)[8]。圖1是文本自動(dòng)分類的一般流程。
2.1 文本表述
至今，計(jì)算機(jī)還不能像人類那樣閱讀完文章之后，根據(jù)自身的理解能力對(duì)文章的內(nèi)容產(chǎn)生一定的認(rèn)識(shí)。要使計(jì)算機(jī)能夠高效率、高性能地處理自然文本，就需要有一個(gè)文本表示的過(guò)程，文本表示是將非結(jié)構(gòu)化的文本文檔表示為機(jī)器易于處理的形式的過(guò)程。文本表示通常包括文本預(yù)處理和文本模型表示等步驟，其中文本預(yù)處理為建立文本表示模型做必要的準(zhǔn)備工作。具體的文本標(biāo)識(shí)方法有很多種模型，如布爾模型、布爾模型性、向量空間模型等。詞包(Bag of Words)表示法是目前文本分類的標(biāo)準(zhǔn)模式。把文本看成是段落的集合，或者是句子的集合，也可以看成是單或字母的集合，而單詞是組成文本的一個(gè)基本單位，研究者通常把一個(gè)文本當(dāng)作是一系列單詞的集合來(lái)表示，即所謂的詞包表示法，它通過(guò)特征處理和統(tǒng)計(jì)學(xué)習(xí)算法的基礎(chǔ)上獲得對(duì)文本語(yǔ)義內(nèi)容及類別信息的估計(jì)與預(yù)測(cè)。實(shí)際應(yīng)用中空間向量模型(vector Space Modal, VSM)是常見(jiàn)的文本表示模型。在這種表示方式中，每篇文檔表示成形如d=的向量，其中ti表示詞條項(xiàng)，wi表示ti在文檔d中的權(quán)值。如圖
2所示是向量空間模型。向量空間模型已經(jīng)在信息檢索、文本分類等應(yīng)用中取得了成功。除VSM外，還有基于概率分布、基于二維視圖等模型。這些非VSM的表示方法需要通過(guò)理論以及應(yīng)用實(shí)踐上的進(jìn)一步驗(yàn)證。
2.2 特征提取
特征提取是在初始全特征集基礎(chǔ)上提取出一個(gè)特征子集的過(guò)程，能夠起到降低向量空間維數(shù)、簡(jiǎn)化計(jì)算、防止過(guò)擬合作用。首先根據(jù)特征提取算法對(duì)特征的重要性進(jìn)行評(píng)估，然后進(jìn)行重要度排序，最后根據(jù)提取閾值或提取比率完成提取。提取后的特征集將用于之后的訓(xùn)練和分類過(guò)程。常用特征提取算法有文檔頻數(shù)(Document Frequency)、信息增益(information Gain)、期望交叉熵(expected cross entropy)、互信息(Mutual Information)、χ2統(tǒng)計(jì)等。
3．基于機(jī)器學(xué)習(xí)的文本分類方法
3.1 基于樸素貝葉斯法的文本分類
樸素貝葉斯方法是最早用于文本分類的分類器算法，是一種統(tǒng)計(jì)學(xué)分類方法，它基于貝葉斯決策論并且基于此項(xiàng)獨(dú)立的假設(shè)，幾不同屬性對(duì)分類結(jié)果的影響是獨(dú)立的。假設(shè)d為待分類文檔的表示向量，它屬于文檔類別集合C={c1,c2,c3,…,cn}中某一類。根據(jù)貝葉斯公式有：
n
P d = P cj P(d|cj)
j=1
P cj|d =P cj P(d|cj)P(d)…,n
其中P cj 表示類別cj在樣本集中的比重，P(d|cj)由概率密度函數(shù)計(jì)算得出。分類時(shí)，P cj|d 值最大情況對(duì)應(yīng)的類別cmax為待分類文檔類別�；谏鲜黾僭O(shè)的概率分類器一般稱為貝葉斯分類器。貝葉斯分類器容易理解，計(jì)算簡(jiǎn)單而且比較實(shí)用，其分類效果基本能滿足要求，但其關(guān)于詞項(xiàng)獨(dú)立性的假設(shè)受到了質(zhì)疑。
3.2 基于決策樹(shù)法的文本分類
決策樹(shù)學(xué)習(xí)是應(yīng)用最廣泛的歸納推理算法之一，它是一種逼近離散值函數(shù)的方法，對(duì)噪聲數(shù)據(jù)有很好的健壯性且能夠?qū)W習(xí)析取表達(dá)式。決策樹(shù)著眼于從一組無(wú)次序無(wú)規(guī)則的事例中推理出決策樹(shù)表示形式的分類規(guī)則，它通過(guò)把實(shí)例從根結(jié)點(diǎn)排序到某個(gè)葉子結(jié)點(diǎn)來(lái)分類實(shí)例，葉子結(jié)點(diǎn)即為實(shí)例所屬的分類。在構(gòu)造分類模型時(shí)，樹(shù)上的每個(gè)結(jié)點(diǎn)指定了對(duì)實(shí)例屬性集測(cè)試后選擇出的屬性，并且該結(jié)點(diǎn)的每一個(gè)后繼分支對(duì)應(yīng)于該屬性的一個(gè)可能值。分類實(shí)例的時(shí)候，就是從樹(shù)的結(jié)點(diǎn)開(kāi)始，測(cè)試這個(gè)結(jié)點(diǎn)指定的屬性，然后按照給定實(shí)例的該屬性值對(duì)應(yīng)的樹(shù)枝向下移動(dòng)，之后在新的'結(jié)點(diǎn)上重復(fù)這個(gè)過(guò)程直到葉子結(jié)點(diǎn)，即獲得分類。
一般來(lái)說(shuō)，決策樹(shù)算法主要圍繞兩大核心問(wèn)題展開(kāi)：第一，決策樹(shù)的生長(zhǎng)問(wèn)題，即利用訓(xùn)練樣本集，完成決策樹(shù)的建立過(guò)程；第二，決策樹(shù)的剪枝問(wèn)題，即利用檢驗(yàn)樣本集對(duì)形成的決策樹(shù)進(jìn)行優(yōu)化處理。決策樹(shù)的構(gòu)建是一種自上而下、分而治之的歸納過(guò)程，本質(zhì)是貪心算法。各種算法建樹(shù)的基本過(guò)程相似，是一個(gè)遞歸的過(guò)程。
設(shè)數(shù)據(jù)樣本集為S，算法框架如下：
(1) 如果數(shù)據(jù)樣本集S中所有樣本都屬于同一類或者滿足其他終止準(zhǔn)則，則S不再劃分，
形成葉節(jié)點(diǎn)：
(2) 否則，根據(jù)某種策略選擇一個(gè)屬性，按照屬性的各個(gè)取值，對(duì)S進(jìn)行劃分，得到n個(gè)子樣本集，記為Si，再對(duì)每個(gè)Si迭代執(zhí)行步驟(1)。
經(jīng)過(guò)n次遞歸，最后生成決策樹(shù)。從根到葉節(jié)點(diǎn)的一條路徑對(duì)應(yīng)著一條規(guī)則，整棵決策樹(shù)就對(duì)應(yīng)著一組析取表達(dá)式規(guī)則。為了防止決策樹(shù)和訓(xùn)練樣本集的過(guò)度擬合，特別是存在噪聲數(shù)據(jù)或不規(guī)范屬性時(shí)更為突出，需要對(duì)決策樹(shù)進(jìn)行剪枝。剪枝的算法通常利用統(tǒng)計(jì)方法決定是否將一個(gè)分支變?yōu)橐粋�(gè)節(jié)點(diǎn)。通常采用兩種方法進(jìn)行決策樹(shù)的剪枝，即在決策樹(shù)生長(zhǎng)過(guò)程完成前就進(jìn)行剪枝的事前修剪法和在決策樹(shù)生長(zhǎng)過(guò)程完成后才進(jìn)行剪枝的事后修剪法。
決策樹(shù)分類算法自提出以來(lái)，出現(xiàn)了很多種，早期的是CLS學(xué)習(xí)算法和CART算法，最有影響的是1986年Quinlan提出的ID3算法。ID3算法體現(xiàn)了決策樹(shù)分類的優(yōu)點(diǎn)：算法的理論清晰、方法簡(jiǎn)單，學(xué)習(xí)能力較強(qiáng)。缺點(diǎn)是：只對(duì)比較小的數(shù)據(jù)集有效，且對(duì)噪聲比較敏感。在ID3算法的基礎(chǔ)上，Quinlan又發(fā)展了具有重要影響的C4.5算法，它繼承并改進(jìn)了ID3算法，使用非常廣泛。為了適應(yīng)處理大規(guī)模數(shù)據(jù)集的需要，后來(lái)學(xué)者又提出了若干改進(jìn)的算法，取得了較好的效果。決策樹(shù)文本分類法分類精度較好，并且可以很好的抵抗噪聲，但缺點(diǎn)是在處理大規(guī)模數(shù)據(jù)集的情況下效率不高。
3.3 基于K最近鄰法的文本分類
K最近鄰算法(k Nearest Neighbor, KNN)分類算法是傳統(tǒng)的基于統(tǒng)計(jì)的模式識(shí)別方法，在文本分類領(lǐng)域使用較多。其算法思想是對(duì)于一篇待分類文檔，在訓(xùn)練集中找到K個(gè)最相近的鄰居。取這K個(gè)鄰居的類別為該文檔的候選類別，該文檔與K個(gè)鄰居之間的相似度為候選類別的權(quán)重，然后使用設(shè)定的相似度閾值就可以得到該文檔的最終分類。KNN算法也是基于向量空間模型的分類算法之一，最初由Cover和Hart于1968年提出，是一個(gè)理論上比較成熟的方法。采用kNN方法進(jìn)行文檔分類可以定義為：對(duì)于給定的文檔集D，把D中所有的文本內(nèi)容形式化為特征空間中的加權(quán)特征向量D，其中向量D表示為D=。對(duì)于某一給定的測(cè)試文檔d，通過(guò)計(jì)算它與每個(gè)訓(xùn)練文檔的相似度，找出k個(gè)最相似的文檔。在此基礎(chǔ)上，給每個(gè)文檔類別加權(quán)打分，根據(jù)加權(quán)距離和判斷測(cè)試文本所屬的類別。根據(jù)上述表述，可以把KNN文本分類法歸結(jié)為以下步驟：
⑴ 根據(jù)各種規(guī)則將文本內(nèi)容變換成文本特征向量。
�、� 根據(jù)相似度公式計(jì)算測(cè)試文本與每個(gè)訓(xùn)練文本的相似度，計(jì)算公式如下：
Sim di,dj =2m2 mk=1Wik k=1Wjk mW×W
其中，m是特征向量維數(shù)，K表示近鄰個(gè)數(shù)，其具體數(shù)值的確定目前還沒(méi)有很好的方法，一般采用先定一個(gè)初始值，然后通過(guò)實(shí)驗(yàn)測(cè)試調(diào)整K值，一般初始值定為幾百到幾千之間，但是要小于訓(xùn)練文檔總數(shù)。
�、� 從(2)的結(jié)果中選出k個(gè)相似度最大的訓(xùn)練集文檔，計(jì)算分類權(quán)重，計(jì)算公式為：
P d,ci = Sim d,dj y dj,ci ?bi
dj?kNN
其中d表示文本特征向量，y dj,ci ? 0,1 ，即如果文檔屬于該類別值為l，反之為0。bi為閾值，對(duì)于某一特定類來(lái)說(shuō)，bi是一個(gè)有待優(yōu)化選擇的值，可以通過(guò)一個(gè)驗(yàn)證文檔集來(lái)進(jìn)行調(diào)整。
KNN算法足向量空間模型下最好的分類算法之一，優(yōu)點(diǎn)是易于快速實(shí)現(xiàn)，在基于統(tǒng)計(jì)
的模式識(shí)別中非常有效，有較好的分類準(zhǔn)確性和穩(wěn)定性，尤其對(duì)于未知和非正態(tài)分布可以取得較高的分類準(zhǔn)確率。KNN可以較好地避免樣本的不平衡問(wèn)題，對(duì)于類域的交叉或重疊較多的待分樣本集和樣本容量較大的類域的分類較為適合，并且，它對(duì)訓(xùn)練數(shù)據(jù)中的噪聲有很好的健壯性，當(dāng)給定足夠大的訓(xùn)練集合時(shí)也非常有效�？傮w來(lái)說(shuō)KNN優(yōu)于貝葉斯、決策樹(shù)。然而作為一種懶散的學(xué)習(xí)算法，它也存在一些限制：一是空間開(kāi)銷(xiāo)大。因?yàn)橐孪却鎯?chǔ)全部訓(xùn)練樣例，當(dāng)訓(xùn)練樣例增大時(shí)存儲(chǔ)空間也隨之增大。二是計(jì)算相似度時(shí)，實(shí)例間的距離是根據(jù)實(shí)例的所有屬性來(lái)計(jì)算的，這與那些只選擇全部實(shí)例屬性的一個(gè)子集的方法不同，例如決策樹(shù)。有些屬性與分類相關(guān)性不大或無(wú)關(guān)時(shí)，可能會(huì)誤導(dǎo)近鄰算法的分類，近鄰間的距離會(huì)被大量的不相關(guān)屬性所支配。這種由于存在很多不相關(guān)屬性所導(dǎo)致的難題，有時(shí)被稱為唯度災(zāi)難[9]。最近鄰方法對(duì)這個(gè)問(wèn)題特別敏感。解決的方法一般有兩種，一是在計(jì)算兩個(gè)實(shí)例間的距離時(shí)對(duì)每個(gè)屬性加權(quán)，二是從實(shí)例空間中完全消除最不相關(guān)的屬性。
3.4 基于中心向量法的文本分類
還有一類分類速度較快的基于向量空間模型的文本分類算法是基于中心向量的分類法，又稱為Rocchio算法[10]。中心向量法最初用于信息檢索，現(xiàn)在已經(jīng)被廣泛應(yīng)用于文本分類。中心向量法的基本思想是通過(guò)對(duì)訓(xùn)練集進(jìn)行訓(xùn)練得到每一個(gè)已知類別的中心，稱之為類中心向量，分類過(guò)程中將待分類文檔與已知的類中心向量進(jìn)行相似度比較，判定規(guī)則為相似度最大的類中心向量所代表的類別為待分類文檔的類別。假設(shè)令C= Ci mi=1表示訓(xùn)練集包含的m個(gè)類，則基于中心向量的文本分類過(guò)程為：
�、� 對(duì)每一個(gè)類Ci，計(jì)算該類中所有文檔向量的算術(shù)平均作為該類的類中心向量V Ci ； ⑵ 對(duì)于一個(gè)待分類文檔d，計(jì)算d與所有類中心向量V Ci 的相似度Sim d,V Ci 并且返回相似度最大的類別最為結(jié)果。這里相似度的計(jì)算同3.3中步驟(2)的相似度激素那方法相同。中心向量法適合于訓(xùn)練集中各類別大小相對(duì)均衡，且同類別文檔分布稠密的情況，此時(shí)分類效果較好，但當(dāng)訓(xùn)練集中各類別間大小不均衡且同類別文檔分布稀疏時(shí)，分類效果較差。
3.5 基于支持向量機(jī)的文本分類
支持向量機(jī)(Support Vector Machines, SVM)是由Vapnik與其領(lǐng)導(dǎo)的貝爾實(shí)驗(yàn)室研究小組在1995年據(jù)統(tǒng)計(jì)學(xué)理論提出的一種用于解決二分類模式識(shí)別問(wèn)題的學(xué)習(xí)方法。Joachims是最早將SVM方法用于文本分類中的，并且取得非常理想的分類效果。SVM方法將文本分類問(wèn)題變成了一系列二分類問(wèn)題。SVM算法是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，它將降維和分類結(jié)合在一起，根據(jù)有限的樣本信息在模型的復(fù)雜性和學(xué)習(xí)能力之間尋求最佳折衷，這里模型的復(fù)雜性代表對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度，而學(xué)習(xí)能力代表無(wú)錯(cuò)誤的識(shí)別任意樣本的能力。支持向量機(jī)算法的目的在于尋找一個(gè)超平面H，該超平面可以將訓(xùn)練集中的數(shù)據(jù)分開(kāi)，且與類別邊界的沿垂直于該超平面方向的距離最大，故SVM法也被稱為最大邊緣算法。樣本集中的大部分樣本不是支持向量，移去或者減少這些樣本對(duì)分類結(jié)果沒(méi)有影響，這樣只用各類別邊界樣本的類別來(lái)決定分類結(jié)果的做法，具有較強(qiáng)的適應(yīng)能力和較高的準(zhǔn)確率。
總結(jié)起來(lái)，SVM算法的分類思想是從訓(xùn)練樣本中尋找能夠確定一個(gè)最優(yōu)超平面的支持向量。假設(shè)有大小為m的訓(xùn)練樣本集 x1,y1 , x2,y2 ,… xn,yn ，如果它是一個(gè)二分類任務(wù)，則分類標(biāo)識(shí)為yi=±1 (i=1,2,3,…,m)，那么任務(wù)的決策函數(shù)可用下式表示：
f x =sin w?x+b
篇四：機(jī)器學(xué)習(xí)理論與方法
機(jī)器學(xué)習(xí)理論與方法 實(shí)驗(yàn)報(bào)告
實(shí)驗(yàn)項(xiàng)目：基于Hopfield Network 模型的數(shù)字識(shí)別 實(shí)驗(yàn)者： 彭江軍 學(xué)號(hào)： 2011114093 專業(yè)： 信息與計(jì)算科學(xué) 指導(dǎo)教師： 張瑞
一：程序前期準(zhǔn)備與思路
(1) 先對(duì)圖中給的8個(gè)已知的pattern圖像數(shù)字化成矩陣，對(duì)于待處理的圖像也處理為矩陣，導(dǎo)入excel表。
(2) 由權(quán)重的計(jì)算公式，編寫(xiě)程序得到權(quán)重矩陣。
(3) 選擇相應(yīng)的激活函數(shù)，這里我們選擇bi-polar binary 函數(shù)。不斷更新，使其能量不斷下降，最終趨于穩(wěn)定。
二：程序代碼
1.得到權(quán)重的程序
% 讀取數(shù)據(jù)
A=xlsread('0.xls',1);
B=xlsread('1.xls',1);
C=xlsread('2.xls',1);
D=xlsread('3.xls',1);
E=xlsread('4.xls',1);
F=xlsread('6.xls',1);
G=xlsread('u.xls',1);
H=xlsread('9.xls',1);
% 將矩陣依次處理為向量，以便求
法用for來(lái)做
A1=A(1,:);
for i=2:12
A1=vpa([A1 A(i,:)]);
end
B1=B(1,:);
for i=2:12
B1=vpa([B1 B(i,:)]);
end
C1=C(1,:);
for i=2:12
C1=vpa([C1 C(i,:)]);
end
D1=D(1,:);
for i=2:12
D1=vpa([D1 D(i,:)]);
end
E1=E(1,:);
for i=2:12
E1=vpa([E1 E(i,:)]);
end
F1=F(1,:);
for i=2:12
F1=vpa([F1 F(i,:)]); weight，由于是A,B等編號(hào)，故這一步無(wú)
end
G1=G(1,:);
for i=2:12
G1=vpa([G1 G(i,:)]);
end
H1=H(1,:);
for i=2:12
H1=vpa([H1 H(i,:)]);
end
% 求weight公式
I=eye(120);
W=(A1'*A1+B1'*B1+C1'*C1+D1'*D1+E1'*E1+F1'*F1+G1'*G1+H1'*H1)/120-8/120*I;
W=double(W);
xlswrite('w.xls',W)
2.更新程序
編寫(xiě)腳本文件
function HPML(x0,weight,n)
%% x0為需要識(shí)別的數(shù)字矩陣
% weight 為經(jīng)過(guò)學(xué)習(xí)得到的權(quán)重
% n為需要迭代的次數(shù)
O=weight*x0;
[r,c]=size(O);
% 迭代更新矩陣
for k=1:n-1
for i=1:r
for j=1:c
if(O(i,j)>=0)
O(i,j)=1;
else
O(i,j)=-1;
end
end
end
O=weight*O;
end
% 對(duì)于跳出循環(huán)的矩陣規(guī)范化
for i=1:r
for j=1:c
if(O(i,j)>=0)
O(i,j)=1;
else
O(i,j)=-1;
end
end
end
%將生成的向量以行序?yàn)橹鬓D(zhuǎn)化為矩陣，因?yàn)閞eshape函數(shù)以列序?yàn)橹�，故未采�?/p>
M=zeros(12,10);
for i=1:12
M(i,:)=O(10*(i-1)+1:10*i);
end
imshow(M,[-1,1])
title(strcat('iteration times:',num2str(n)));
3.調(diào)用函數(shù)
x0=xlsread('i.xls',1)；
weight=xlsread('w.xls',1);
X=zeros(12,10);
for i=1:12
X(i,:)=x0(10*(i-1)+1:10*i);
end
subplot(1,3,1);
imshow(X,[-1,1]);
title('previous image');
n=1;
subplot(1,3,2);
HPML(x0,weight,n)
subplot(1,3,3);
n=2;
HPML(x0,weight,n)
三：程序結(jié)果
篇五：基于機(jī)器學(xué)習(xí)的數(shù)字音頻分類方法研究
基于機(jī)器學(xué)習(xí)的數(shù)字音頻分類方法研究
摘要：
讓計(jì)算機(jī)能聽(tīng)懂人類的語(yǔ)言，是人類自計(jì)算機(jī)誕生以來(lái)夢(mèng)寐以求的想法。隨著經(jīng)濟(jì)的發(fā)展，人們?cè)絹?lái)越迫切要求擺脫鍵盤(pán)的束縛而代之以語(yǔ)音輸入這樣便于使用的、自然的、人性化的輸入方式。這就使語(yǔ)音信號(hào)分析成為社會(huì)生活中越來(lái)越重要的一部分。其中語(yǔ)音識(shí)別是語(yǔ)音信號(hào)分析的重要領(lǐng)域，而語(yǔ)音特征信號(hào)識(shí)別又是語(yǔ)音識(shí)別研究領(lǐng)域的一個(gè)重要方面。
語(yǔ)音特征信號(hào)識(shí)別一般采用模式匹配的方法解。首先通過(guò)預(yù)處理提取語(yǔ)音特征，作為該語(yǔ)音片段的模型。將該模型與已知的參考模型相比較，獲得最佳匹配的參考模式作為識(shí)別結(jié)果，在論文中研究的是基于傳統(tǒng)的BP神經(jīng)網(wǎng)絡(luò)的音頻分類與SVM技術(shù)音頻分類的仿真實(shí)驗(yàn)結(jié)果進(jìn)行比較，對(duì)比兩者各自優(yōu)缺點(diǎn)，從而熟悉這兩種技術(shù)的基本工作原理和算法。通過(guò)實(shí)驗(yàn)對(duì)其性能進(jìn)行了主觀評(píng)價(jià)和客觀數(shù)據(jù)分析，對(duì)于所選語(yǔ)音信號(hào)BP網(wǎng)絡(luò)具有較快的訓(xùn)練速度，但是SVM技術(shù)具有較高的識(shí)別率。BP網(wǎng)絡(luò)的學(xué)習(xí)和記憶具有不穩(wěn)定性。也就是說(shuō)，如果增加了學(xué)習(xí)樣本，訓(xùn)練好的網(wǎng)絡(luò)就需要從頭開(kāi)始訓(xùn)練，對(duì)于以前的權(quán)值和閾值是沒(méi)有記憶的。但是可以將預(yù)測(cè)、分類或聚類做的比較好的權(quán)值保存。
關(guān)鍵詞：語(yǔ)音識(shí)別，特征提取，梅爾倒譜系數(shù)，BP網(wǎng)絡(luò)，SVM（支持向量機(jī)）
Research on digital audio classification base on
machine-learning
Abstract:
Since the birth of the computer people want to let the computer can understand human's language .People are becoming more and more urgent to get rid of keyboard and replace it by voice input that is personalized、convenient and natural to be used .So that Analysis of speech signal become a more and more important part in social life.The speech recognition is an important part of Analysis of speech signal ,and the voice signal recognition is one of the most important aspects of speech recognition .
Speech feature signals recognition use to use pattern matching method.Firstly, through pretreatment of phonetic feature extraction make as the model.The model is compared with known reference model, get the best matches the reference pattern as a result of recognition. In this paper research is based on the traditional BP neural network audio classification and technology of Support vector machine audio classification the experimental results were compared to find each of advantages and disadvantages, so to understand with the two technical basic principle and algorithm. Through the experiments on the performance of the subjective evaluation and objective data analysis, for selected speech signal BP network has faster training speed, but the SVM technology has higher recognition rate. BP network learning and memory have instability. That is to say that if the increase of learning samples, the trained network is needed to start training, for the previous weights and thresholds is no memory. But it can keep these better weight that do well in predict, classification or clustering.
KEY WORDS：Speech recognition feature extraction Mel frequency cepstrum coefficient BP networks SVM ( support vector machine )
目錄
第一章 緒論 ..................................................................................................................................... 4
1.1 語(yǔ)音信號(hào)處理發(fā)展前景 .................................................................................................. 4
1.2 語(yǔ)音識(shí)別技術(shù)概述 .......................................................................................................... 4
1.2.1 語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史回顧 ........................................................................... 5
1.2.2 音頻識(shí)別系統(tǒng)的基本原理 ................................................................................... 5
1.2.3 語(yǔ)音識(shí)別的意義 ................................................................................................... 6
1.3 項(xiàng)目的主要研究?jī)?nèi)容 ...................................................................................................... 6
1.4本文的主要章節(jié)安排 ......................................................................................................... 6
第二章 信號(hào)的預(yù)處理 ..................................................................................................................... 7
2.1 信號(hào)的預(yù)加重 .................................................................................................................... 7
2.2音頻信號(hào)的加窗分幀 ......................................................................................................... 8
2.3音頻信號(hào)的端點(diǎn)檢測(cè) ......................................................................................................... 9
2.3.1 音頻信號(hào)的短時(shí)能量分析 ................................................................................... 9
2.3.2 音頻信號(hào)的短時(shí)過(guò)零率分析 ............................................................................. 10
2.3.3 基于短時(shí)平均能量和短時(shí)平均過(guò)零率的雙門(mén)限端點(diǎn)檢測(cè) ............................. 11
第三章 音頻信號(hào)的特征矢量提取 ............................................................................................... 12
3.1 信號(hào)的倒譜分析 ............................................................................................................ 12
3.2 梅爾倒譜參數(shù) ................................................................................................................ 13
第四章 基于BP神經(jīng)網(wǎng)絡(luò)的音頻信號(hào)數(shù)據(jù)分類 ...................................................................... 18
4.1BP神經(jīng)網(wǎng)絡(luò)概述 .............................................................................................................. 18
4.1.1 BP神經(jīng)網(wǎng)絡(luò) ............................................................................................................... 18
4.1.2 語(yǔ)音特征信號(hào)分類 ............................................................................................. 19
4.2BP 網(wǎng)絡(luò)的MATLAB實(shí)現(xiàn) ............................................................................................... 20
4.2.1 歸一化方法及MATLAB實(shí)現(xiàn) .......................................................................... 20
4.2.2 數(shù)據(jù)選擇選擇和歸一化 ..................................................................................... 20
4.2.4 仿真結(jié)果分析 ..................................................................................................... 21
第五章利用SVM建立分類器來(lái)對(duì)語(yǔ)音特征信號(hào)進(jìn)行分類預(yù)測(cè) .............................................. 24
5.1svm技術(shù)簡(jiǎn)述 .................................................................................................................... 24
5.1.1 SVM的原理和優(yōu)點(diǎn) .............................................................................................. 24
5.1.2SVM技術(shù)在本案例中的應(yīng)用 ............................................................................... 25
5.1.3實(shí)驗(yàn)的仿真結(jié)果與分析 ........................................................................................ 25
第六章 總結(jié)與展望 ....................................................................................................................... 28
致 謝 .............................................................................................................................................. 29
畢業(yè)設(shè)計(jì)小結(jié) ................................................................................................................................. 30
參考文獻(xiàn)......................................................................................................................................... 31
附錄 ................................................................................................................................................ 32
附錄1：相關(guān)文獻(xiàn)的翻譯 ...................................................................................................... 32
第一章 緒論
通過(guò)語(yǔ)音傳遞信息是人類最重要、最有效、最常用和方便的交換信息的形式。語(yǔ)音是人類特有的功能，聲音是人類最常用的工具，是相互傳遞信息的最主要的手段。因此，語(yǔ)音信號(hào)是人們構(gòu)成思想溝通和感情交流的途徑。
1.1 語(yǔ)音信號(hào)處理發(fā)展前景
讓計(jì)算機(jī)能聽(tīng)懂人類的語(yǔ)言，是人類自計(jì)算機(jī)誕生以來(lái)夢(mèng)寐以求的想法。隨著計(jì)算機(jī)越來(lái)越向便攜化方向發(fā)展，以及計(jì)算環(huán)境的日趨復(fù)雜化，人們?cè)絹?lái)越迫切要求擺脫鍵盤(pán)的束縛而代之以語(yǔ)音輸入這樣便于使用的、自然的、人性化的輸入方式。尤其是漢語(yǔ)，它的漢字輸入一直是計(jì)算機(jī)應(yīng)用普及的障礙，因此利用漢語(yǔ)語(yǔ)音進(jìn)行人機(jī)交換是一個(gè)極其重要的研究課題。作為高科技應(yīng)用領(lǐng)域的研究熱點(diǎn)，語(yǔ)音信號(hào)處理技術(shù)從理論的研究到產(chǎn)品的開(kāi)發(fā)已經(jīng)走過(guò)了幾十個(gè)春秋平且取得了長(zhǎng)足的進(jìn)步。它正在直接與辦公、交通、金融、公安、商業(yè)、旅游的行業(yè)的語(yǔ)音咨詢與管理，工業(yè)生產(chǎn)部門(mén)的語(yǔ)音控制，電話-電信系統(tǒng)的自動(dòng)撥號(hào)、輔助控制與查詢以及醫(yī)療衛(wèi)生和福利事業(yè)的生活志愿系統(tǒng)等各種實(shí)際應(yīng)用領(lǐng)域相接軌，并且有望成為下一代操作系統(tǒng)和應(yīng)用程序的用戶界面�？梢�(jiàn)，語(yǔ)音信號(hào)處理技術(shù)的研究將是一項(xiàng)極具市場(chǎng)價(jià)值和挑戰(zhàn)性的生活。我們今天進(jìn)行這一領(lǐng)域的研究與開(kāi)拓就是要讓語(yǔ)音信號(hào)處理技術(shù)走入人們的日常生活當(dāng)中，并不斷朝向更高目標(biāo)而努力。
語(yǔ)音信號(hào)處理這門(mén)學(xué)科之所以能夠長(zhǎng)期地、深深地吸引廣大科學(xué)工作者不斷地對(duì)其進(jìn)行研究和探討，除了它的實(shí)用性之外，另一個(gè)重要原因是，它始終與當(dāng)時(shí)信息科學(xué)中最活躍的前沿學(xué)科保持密切的聯(lián)系，并且一起發(fā)展。語(yǔ)音信號(hào)處理是以語(yǔ)音語(yǔ)言學(xué)和數(shù)字信號(hào)處理為基礎(chǔ)而形成的一門(mén)涉及面很廣的綜合性學(xué)科都有著非常密切的關(guān)系。對(duì)語(yǔ)音信號(hào)處理的研究一直是數(shù)字信號(hào)處理技術(shù)發(fā)展的重要推動(dòng)力量。因?yàn)樵S多的處理的新方法的提出，首先是在語(yǔ)音處理中獲得成功，然后在推廣到其他領(lǐng)域的[2]。
1.2 語(yǔ)音識(shí)別技術(shù)概述
語(yǔ)音識(shí)別是指機(jī)器對(duì)人類說(shuō)話的語(yǔ)句或命令進(jìn)行識(shí)別和理解并做出相應(yīng)的反應(yīng)。它是涉及語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、生理學(xué)等諸多領(lǐng)域的一門(mén)交叉學(xué)科。隨著計(jì)算機(jī)軟硬件和信息技術(shù)的飛速發(fā)展，以語(yǔ)音識(shí)別技術(shù)開(kāi)發(fā)出的產(chǎn)品也廣泛地應(yīng)用于聲控電話交換、信息網(wǎng)絡(luò)查詢、醫(yī)療服務(wù)、銀行服務(wù)、工業(yè)控制等社會(huì)和人們生活的每個(gè)方面。
1.2.1 語(yǔ)音識(shí)別技術(shù)的發(fā)展歷史回顧
對(duì)語(yǔ)音識(shí)別技術(shù)的研究距今已有半個(gè)多世紀(jì)的歷史。1952 年，AT&Tbell 實(shí)驗(yàn)室的Davis 等人成功研制的Audry 系統(tǒng)標(biāo)志著語(yǔ)音識(shí)別研究工作的開(kāi)始。它是世界上第一個(gè)能識(shí)別十個(gè)英文數(shù)字發(fā)音的實(shí)驗(yàn)系統(tǒng)。進(jìn)入20 世紀(jì)60 年代，計(jì)算機(jī)的應(yīng)用推動(dòng)了語(yǔ)音識(shí)別的發(fā)展。在這一時(shí)期產(chǎn)生了動(dòng)態(tài)規(guī)劃(DP,Dynamic Programming) 和線性預(yù)測(cè)分析技術(shù)(LP,Linear Prediction)兩大重要理論，較好地解決了語(yǔ)音信號(hào)產(chǎn)生模型的問(wèn)題，對(duì)語(yǔ)音識(shí)別的發(fā)展產(chǎn)生了深遠(yuǎn)影響。70 年代，語(yǔ)音識(shí)別領(lǐng)域取得了較大的突破。動(dòng)態(tài)時(shí)間歸正技術(shù)(DTW)基本成熟，有效地解決了語(yǔ)音信號(hào)特征提取和不等長(zhǎng)語(yǔ)音匹配問(wèn)題，同時(shí)還提出了矢量量化(VQ)，隱馬爾可夫模型(HMM)理論。80 年代語(yǔ)音識(shí)別研究進(jìn)一步走向深入，各種連接詞語(yǔ)音識(shí)別算法被開(kāi)發(fā)，并從模板匹配技術(shù)轉(zhuǎn)向基于統(tǒng)計(jì)模型技術(shù)，特別是在實(shí)踐開(kāi)發(fā)中成功應(yīng)用了HMM 模型和人工神經(jīng)網(wǎng)絡(luò)（ANN）。1988 年Kai-FuLee 等用VQ/HMM 方法實(shí)現(xiàn)了997 個(gè)詞匯的非特定人連續(xù)語(yǔ)音識(shí)別系統(tǒng)SPHINX，這是世界上第一個(gè)高性能的非特定人、大詞匯量、連續(xù)語(yǔ)音識(shí)別系統(tǒng)。進(jìn)入90 年代后,語(yǔ)音識(shí)別技術(shù)開(kāi)始向市場(chǎng)提供產(chǎn)品。具代表性的是IBM 的Via Voice 和Dragon 公司的Dragon Dictate系統(tǒng)，這些語(yǔ)音識(shí)別系統(tǒng)具有說(shuō)話人自適應(yīng)能力，新用戶不需要對(duì)全部詞匯進(jìn)行訓(xùn)練便可在使用中不斷提高識(shí)別率。進(jìn)入21 世紀(jì)，語(yǔ)音識(shí)別的研究重點(diǎn)包括即興口語(yǔ)的識(shí)別和理解，自然口語(yǔ)對(duì)話，以及多語(yǔ)種的語(yǔ)音同聲翻譯。而基于語(yǔ)音識(shí)別芯片的嵌入式產(chǎn)品也越來(lái)越多， 如Infineon 公司的Unispeech 和Unilite 語(yǔ)音芯片等。我國(guó)對(duì)語(yǔ)音識(shí)別的研究也較早。20 世紀(jì)50 年代后期，中科院聲學(xué)所用頻譜分析的方法研究了漢語(yǔ)10 個(gè)元音的語(yǔ)音識(shí)別；20 世紀(jì)70 年代后期，構(gòu)建了基于模板匹配的孤立詞語(yǔ)音識(shí)別系統(tǒng)；20 世紀(jì)80 年代后期，研究了八五期間中科院人機(jī)語(yǔ)音對(duì)話研究項(xiàng)目。目前我國(guó)語(yǔ)音識(shí)別技術(shù)的研究水平已經(jīng)基本上與國(guó)際相當(dāng)。如以中國(guó)科學(xué)院自動(dòng)化研究所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室為依托的中科模識(shí)，其漢語(yǔ)連續(xù)語(yǔ)音、非特定人聽(tīng)寫(xiě)機(jī)系統(tǒng)的普通話系統(tǒng)的錯(cuò)誤率可以控制在10%以內(nèi)。
1.2.2 音頻識(shí)別系統(tǒng)的基本原理
語(yǔ)音識(shí)別屬于模式識(shí)別的范疇。根據(jù)模式識(shí)別的原理，未知語(yǔ)音的模式與己知語(yǔ)音的參考模式逐一進(jìn)行比較，最佳匹配的參考模式被作為識(shí)別結(jié)果。語(yǔ)音識(shí)別系統(tǒng)的工作過(guò)程可以描述如下：待識(shí)別語(yǔ)音經(jīng)過(guò)話筒變換成電信號(hào)后加在識(shí)別系統(tǒng)的輸入端，首先經(jīng)過(guò)預(yù)處理，包括反混疊失真濾波、預(yù)加重和端點(diǎn)檢測(cè)從而將語(yǔ)音信號(hào)的特征被提取出來(lái)。常用的特征包括：短時(shí)平均能量或幅度、短時(shí)平均過(guò)零率、短時(shí)自相關(guān)函數(shù)、線性預(yù)測(cè)系數(shù)、倒譜、共振峰等。根據(jù)實(shí)際需要選擇語(yǔ)音特征參數(shù)，這些特征參數(shù)的時(shí)間序列便構(gòu)成了待識(shí)別語(yǔ)音的模式，將其與己經(jīng)存儲(chǔ)在計(jì)算機(jī)內(nèi)的參考模式逐一進(jìn)行比較，獲得最佳匹配的參考模式便是識(shí)別結(jié)果。參考模式是在系統(tǒng)使用前獲得并存儲(chǔ)起來(lái)的，為此，要輸入一系列已知語(yǔ)音信號(hào)，提取它們的特征作為參考模式，這一過(guò)程稱為訓(xùn)練過(guò)程。
【淺談機(jī)器的學(xué)習(xí)方法】相關(guān)文章：
淺談韓語(yǔ)語(yǔ)音的學(xué)習(xí)方法09-10
淺談機(jī)器人技術(shù)的創(chuàng)新教育10-16
淺談韓語(yǔ)的學(xué)習(xí)方法是什么09-10
淺談工業(yè)機(jī)器人在物流行業(yè)的應(yīng)用論文07-28
淺談彩焰黑章魚(yú)舞蹈機(jī)器人的軟件設(shè)計(jì)論文08-19
淺談機(jī)器人學(xué)與康復(fù)醫(yī)學(xué)相結(jié)合的康復(fù)機(jī)構(gòu)設(shè)計(jì)10-13
淺談七年級(jí)語(yǔ)文閱讀教學(xué)的學(xué)習(xí)方法09-18
機(jī)器維修的合同范本10-23