- 相關推薦
數據分析中要注意的統計學問題
數據分析是一門數學類的學科。數據分析中涉及的統計問題有很多。下面是小編為大家帶來的數據分析中要注意的統計學問題。歡迎閱讀。
一、均值的計算
在處理數據時，經常會遇到對相同采樣或相同實驗條件下同一隨機變量的多個不同取值進行統計處理的問題。此時，往往我們會不假思索地直接給出算術平均值和標準差。顯然，這種做法是不嚴謹的。
這是因為作為描述隨機變量總體大小特征的統計量有算術平均值、幾何平均值和中位數等多個。至于該采用哪種均值，不能根據主觀意愿隨意確定，而要根據隨機變量的分布特征確定。
反映隨機變量總體大小特征的統計量是數學期望，而在隨機變量的分布服從正態分布時，其數學期望就是其算術平均值。此時，可用算術平均值描述隨機變量的大小特征;如果所研究的隨機變量不服從正態分布，則算術平均值不能準確反映該變量的大小特征。在這種情況下，可通過假設檢驗來判斷隨機變量是否服從對數正態分布。如果服從對數正態分布，則幾何平均值就是數學期望的值。此時，就可以計算變量的幾何平均值;如果隨機變量既不服從正態分布也不服從對數正態分布，則按現有的數理統計學知識，尚無合適的統計量描述該變量的大小特征。此時，可用中位數來描述變量的大小特征。
因此，我們不能在處理數據的時候一律采用算術平均值，而是要視數據的分布情況而定。
二、直線相關與回歸分析
這兩種分析，說明的問題是不同的，既相互又聯系。在做實際分析的時候，應先做變量的散點圖，確認由線性趨勢后再進行統計分析。一般先做相關分析，只有在相關分析有統計學意義的前提下，求回歸方程才有實際意義。一般來講，有這么兩個問題值得注意：
一定要把回歸和相關的概念搞清楚，要做回歸分析時，不需要報告相關系數;做相關分析的時候，不需要計算回歸方程。
相關分析中，只有對相關系數進行統計檢驗(如t檢驗)，P<0.05時，才能一依據r值的大小來說明兩個變量的相關程度。必須注意的是，不能將相關系數的假設檢驗誤認為是相關程度的大小。舉個例子：當樣本數量很小，即使r值較大(如3對數據，r=0.9)，也可能得出p>0.05這種無統計學意義的結論;而當樣本量很大，如500，即使r=0.1，也會有P<0.05的結果，但這種相關卻不具有實際意義。因此，要表明相關性，除了要寫出r值外，還應該注明假設檢驗的P值。
三、相關分析和回歸分析之間的區別
相關分析和回歸分析是極為常用的2種數理統計方法，在環境科學及其它研究領域有著廣泛的用途。然而，由于這2種數理統計方法在計算方面存在很多相似之處，因此在應用中我們很容易將二者混淆。
最常見的錯誤是，用回歸分析的結果解釋相關性問題。例如，將“回歸直線(曲線)圖”稱為“相關性圖”或“相關關系圖”;將回歸直線的R2(擬合度，或稱“可決系數”)錯誤地稱為“相關系數”或“相關系數的平方”;根據回歸分析的結果宣稱2個變量之間存在正的或負的相關關系。
相關分析與回歸分析均為研究2個或多個變量間關聯性的方法，但2種方法存在本質的差別。相關分析的目的在于檢驗兩個隨機變量的共變趨勢(即共同變化的程度)，回歸分析的目的則在于試圖用自變量來預測因變量的值。
實際上在相關分析中，兩個變量必須都是隨機變量，如果其中的一個變量不是隨機變量，就不能進行相關分析。而回歸分析中，因變量肯定為隨機變量，而自變量則可以是普通變量(有確定的取值)也可以是隨機變量。
很顯然，當自變量為普通變量的時候，這個時候你根本不可能回答相關性的問題;當兩個變量均為隨機變量的時候，鑒于兩個隨機變量客觀上存在“相關性”問題，只是由于回歸分析方法本身不能提供針對自變量和因變量之間相關關系的準確的檢驗手段，因此這又回到了問題二中所講的，如果你要以預測為目的，就不要提相關系數;當你以探索兩者的“共變趨勢”為目的，就不要提回歸方程。
回歸分析中的R2在數學上恰好是Pearson積矩相關系數r的平方。因此我們不能錯誤地理解R2的含義，認為R2就是 “相關系數”或“相關系數的平方”。這是因為，對于自變量是普通變量的時候，2個變量之間的“相關性”概念根本不存在，又談什么“相關系數”呢?
四、相關分析中的問題
相關分析中，我們很容易犯這么一個錯誤，那就是不考慮兩個隨機變量的分布，直接采用Pearson 積矩相關系數描述這2個隨機變量間的相關關系(此時描述的是線性相關關系)。
關于相關系數，除有Pearson 積矩相關系數外，還有Spearman秩相關系數和Kendall秩相關系數等。其中，Pearson積矩相關系數可用于描述2個隨機變量的線性相關程度，Spearman或Kendall秩相關系數用來判斷兩個隨機變量在二維和多維空間中是否具有某種共變趨勢。
因此我們必須注意的是，Pearson 積矩相關系數的選擇是由前提的，那就是2個隨機變量均服從正態分布假設。如果數據不服從正態分布，則不能計算Pearson 積矩相關系數，這個時候，我們就因該選擇Spearman或Kendall秩相關系數。
五、t檢驗
用于比較均值的t檢驗可以分成三類：第一類是針對單組設計定量資料的;第二類是針對配對設計定量資料的;第三類則是針對成組設計定量資料的。后兩種設計類型的區別在于事先是否將兩組研究對象按照某一個或幾個方面的特征相似配成對子。無論哪種類型的t檢驗，都必須在滿足特定的前提條件下應用才是合理的。
若是單組檢驗，必須給出一個標準值或總體均值，同時，提供一組定量的觀測結果，應用t檢驗的前提條件就是該組資料必須服從正態分布;若是配對設計，每對數據的差值必須服從正態分布;若是成組設計，個體之間相互獨立，兩組資料均取自正態分布的總體，并滿足方差齊性。之所以需要這些前提條件，是因為必須在這樣的前提下所計算出的t統計量才服從t分布。
t檢驗是目前在科學研究中使用頻率最高的一種假設檢驗方法。t檢驗方法簡單，其結果便于解釋。簡單、熟悉加上外界的要求，促成了t檢驗的流行。但是，由于我們對該方法理解得不全面，導致在應用過程中出現不少問題，有些甚至是非常嚴重的錯誤，直接影響到結論的可靠性。
常見錯誤：不考慮t檢驗的應用前提，對兩組的比較一律用t檢驗;將各種實驗設計類型一律視為多個單因素兩水平設計，多次用t檢驗進行均值之間的兩兩比較。以上兩種情況，均不同程度地增加了得出錯誤結論的風險。而且，在實驗因素的個數大于等于2時，無法研究實驗因素之間的交互作用的大小。
正確做法：當兩樣本均值比較時，如不滿足正態分布和方差齊性，應采用非參檢驗方法(如秩檢驗);兩組以上的均值比較，不能采用t檢驗進行均值之間的兩兩比較。
因此我們必須注意，在使用t檢驗的時候，一定要注意其前提以及研究目的，否則，會得出錯誤的結論。
六、常用統計分析軟件
國際上已開發出的專門用于統計分析的商業軟件很多，比較著名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中，SPSS是專門為社會科學領域的研究者設計的(但是，此軟件在自然科學領域也得到廣泛應用);BMDP是專門為生物學和醫學領域研究者編制的統計軟件。
當然，excel也能用于統計分析。單擊“工具”菜單中的“數據分析”命令可以瀏覽已有的分析工具。如果在“工具”菜單上沒有“數據分析”命令，應在“工具”菜單上運行“加載宏”命令，在“加載宏”對話框中選擇“分析工具庫”。
特別推薦一款國產軟件——DPS，其界面見附圖。其功能較為強大，除了擁有統計分析功能，如參數分析，非參分析等以外，還專門針對一些專業編寫了專業統計分析模塊，隨機前沿面模型、數據包絡分析(DEA)、顧客滿意指數模型(結構方程模型)、數學生態、生物測定、地理統計、遺傳育種、生存分析、水文頻率分析、量表分析、質量控制圖、ROC曲線分析等內容。有些不是統計分析的功能，如模糊數學方法、灰色系統方法、各種類型的線性規劃、非線性規劃、層次分析法、BP神經網絡、徑向基函數(RBF)等，在DPS里面也可以找到。
怎樣選擇數據分析方法
一、質量改進統計方法選擇的基本導向
從工業革命的傳統過程考察，大量的統計方法和技術伴隨機器工業和科學實驗的進步發展起來。像美國貝爾實驗室的工程師休哈特提出的統計質量控制方法、道奇和羅米格首創的計數標準型抽樣檢驗方法、費歇爾的正交實驗設計、皮爾遜的相關分析和費希爾的回歸分析等，都是在工農業生產和科學實驗的數據基礎上發展起來的，也有一些方法來源于醫學和生物統計學的研究和物理化學實驗的數據分析活動中，比如卡方檢驗、蒙特卡洛隨機模擬等。這些方法不是來自單純的演繹邏輯意義上的推導過程，而是從工農業生產和科學實驗的實踐中發展起來的，雖然受制于獲取數據和手工計算能力的約束，但方法論的創新還是極大地推動了質量統計技術的進步和實際應用的發展。
目前，在質量改進活動中使用統計方法已經相當普及，許多改進項目甚至開始獨立設計統計模型方法及相應的檢驗工具，統計學作為質量改進的基礎方法論得到了廣泛的發展和應用。促進這些方法走向實踐的主要原因是什么？
（一）數據導向。
所謂數據導向，即“有什么數據，選擇什么方法”，從質量過程生成的統計數據出發，選擇和設計相應的統計方法，有時也根據這些數據設計一些QC課題或者其他質量改進項目。這種導向的特點是有什么數據，就做什么改進，而不是從質量現狀或質量改進的關鍵技術、關鍵環節、成本、安全及交貨期等出發。例如，國內某著名乳品企業采用先進的乳制品生產、消毒、存儲和包裝設備，每日自動產生大量的過程統計數據和質量檢驗數據，加上營銷部門提供的銷售數據和電子商務網站形成的客戶訂購、投訴和評價數據，構成了復雜的數據系統，實際上已經成為企業大數據系統的雛形。但是，該企業始終沒有設計出適應企業自身需求的數據分析系統，也無法使這些數據在系統的質量改進和控制中起到積極的作用，浪費了大量的數據資源和改進管理的機會。
�。ǘ┠Ｐ蛯颉�
模型導向是指為實證某個新設計或新發現的統計模型而進行的質量改進過程，這些統計模型的成功應用有些可以獲得良好的改進效果，有些則無法適應真正的改進目標。從改革開放30多年中質量管理技術的進步過程來看，我們一直在追趕發達國家的管理手段和技術方法，從20世紀80年代的全面質量管理、90年代的質量標準化管理到2000年代后的六西格瑪管理和卓越績效管理，似乎都體現了方法論上的盲目性，只顧追趕別人的腳步，不知道是否適合自身的發展。
從微觀角度審視，一些企業的質量管理技術人員，在質量方法的選擇上追求模型的“高大上”，簡單參考和引進國外的先進數學模型，用眼花繚亂的數學公式代替了扎扎實實的現場調查和改進過程，把質量管理活動變成了新統計模型的實驗室。
�。ㄈ┕ぞ邔颉�
統計軟件是質量統計的重要工具，從SPC的應用過程可以看到，休哈特博士設計的均值極差控制圖就是典型的工具導向的一個應用。由于當時的計算能力和工具不足，因此在作業現場計算方差比較困難，所以休哈特博士采用了計算更為簡易的極差來替代方差，用以表征質量過程的波動性。
專業的統計軟件是質量改進方法的重要推動力量，一些世界知名廠商也陸續推出面向質量管理的專用模塊和程序，這些軟件包括SAS、SPSS、STATISTICA
、Minitab、Matlab等。進入新世紀以來，大數據逐漸成為統計軟件工具必須面對的重要對象，數據挖掘（Data Mining）和商業智能（Business Intelligence）等方法成為統計軟件的主流方法，同時這些方法也被大量應用到質量管理活動中。于是，以統計軟件工具為導向的一大批質量管理成果開始出現在各種場合，比如六西格瑪黑帶項目、可靠性項目、多變量統計過程控制（MSPC）、實驗設計（Design of Experiment）等。
與模型導向一樣，工具導向的質量改進也是被動的，無法真正面向質量生產的過程，即便是成功的數據分析也只能是統計模型和軟件的新例證，而不能成為質量改進的新成果。
�。ㄋ模┌咐龑颉�
案例導向的質量改進過程，來自商學院工商管理碩士（MBA）案例教學實踐中，來自企業、院校和研究所的MBA似乎更喜歡來自成功案例方法的質量改進過程。但商業模式和管理經驗并不總是可重復和可再現的，質量改進也是如此，商業案例只是對成功管理活動的總結和提煉，而不是輸出管理規則和盈利模式。因此，基于成功的商學院案例或者六西格瑪成功案例實施的質量改進方法進程中，有很大一部分是無法完成改進目標和任務的。
（五）任務導向。
所謂的任務導向是目前很多企業采用的一種中規中矩的質量統計方法，就是根據企業生產計劃和調度要求，提出某項生產或管理任務，從完成任務的目的考慮，采用常規的統計方法或者技術來完成任務，甘特圖的使用就是任務導向的一個典型例子。
企業在進行績效考核的時候，一般多采用多變量線性模型進行綜合評價，用來合成多項指標的考核分值，這類統計方法已經成為主流的績效評價方法，從卓越績效模式的評價到中小企業的員工績效考核，大多采用此法，這就是任務導向的方法選擇。這些方法是無法進行真正的質量改進的，只是一種較優的質量統計方法選擇。
�。﹩栴}導向。
質量統計方法的基本功能是描述、解釋和探索，是基于過程或結果的統計數據而進行的有目的的質量改進活動，用以解決企業經營管理過程中出現的各種問題。因此，問題導向的質量統計方法主要是指以質量管理活動中出現的問題為核心改進目標，從問題的現狀調查、研判、因果關系判別以及對策、實驗和檢驗等基本目標出發，量身定制或者重新創建新的數據管理或質量改進統計方法，做到因地制宜、對癥下藥，達到追本溯源、藥到病除的效果，這才是真正的應用統計價值所在，也是質量統計方法追求的科學、合理和高效的真正動力。
現實中，一些QC項目和六西格瑪項目，就是為了做項目而刻意尋找項目，而不是面向企業生產經營和管理實踐活動本身，他們根據比較好的一些質量特性，逆向設計統計方法，模擬和推斷出可能的數據改進方法和計算模型，從而達到項目要求或評獎要求，實際上放棄了統計方法對于質量改進的真正貢獻，也放棄了科學改進的真正目的，違背了質量改進的最初目的和終極價值。
二、問題導向的質量改進統計方法選擇
問題導向的質量改進過程中，要一切從問題的現狀出發，擬定合理目標，設計跟進數據集，選擇合適的統計方法，帶著問題逐步深入才能得到滿意的改進效果。
問題導向的質量改進一般應遵循三個基本原則，一是厘定問題，單一目標；二是自頂向下，逐步求精；三是優選方法，單入單出。在這個原則下，質量改進的過程可以分為以下步驟：
�。ㄒ唬┨岢鰡栴}。
和一般的改進過程一樣，面向問題的改進過程主要是對于質量問題的定義和選擇，這些問題不是上級決定的，也不是財務目標中挑出來的，而應該來自質量經營和管理的實踐中出現的質量問題和可能造成不良的機會。因此質量改進的動因本身就具有補償性質量的能力，如果不出現問題，質量管理的重點則應放在質量保證能力建設和預防性質量的提升方面。
�。ǘ┟枋鰡栴}并抽象成統計模型。
精確定義質量生產和使用過程中出現的問題，并力圖把這個問題抽象成為統計模型。比如對于推土機首次故障時間的確認，就可以根據統計建模的經驗和方法，考慮通過構建指數模型來計算一批推土機銷售以后首次故障時間的期望均值，并以此通過假設檢驗來設定首次故障時間，并最終實現質量的全面提升。
�。ㄈ┇@得過程和結果的數據。
統計模型方法依賴大量數據和檢驗，因此模型方法所需要的數據必須和問題產生的過程保持一致，也就是說，必須回到問題發生的現場去收集整理數據并獲得數據口徑、背景和計算方法的要求。這些數據可以客觀地描述、解釋和探索質量過程中的細節，可以由此回溯和推斷問題出現的可能性、因果性以及相關性，真正地做到“讓數據說話”、“讓模型作證”和“讓結果指向”。
（四）分析建模和驗證。
根據得到的數據和所選的統計方法創建統計模型，對問題進行深入的分析和解剖，得到解決問題的基本方向和思路，并設計出解決問題的路徑和方法，對這些方法進行實地實驗和驗證，力求得出解決問題的全局性對策。
�。ㄎ澹┓椒ㄟx擇的導向性。
有些問題的出現和解決，似乎有定數，比如因果圖就經常被用來解決質量改進中的可能性關聯問題。有些研究者更愿意采用復雜的數理統計模型來完成該改進任務，但我們的建議是選擇最適合的方法，而不是最先進或者最豪華的方法。面向問題是質量改進的第一動力，因此統計方法的選擇只有依照這個原則來進行，才有可能真正起到質量改進的作用，也從而實現質量提升的最終目標。
三、統計數據的來源和統計方法的適應性
�。ㄒ唬⿺祿䜩碓础�
傳統的企業統計數據來源于三個方面，即企業統計臺賬、生產記錄和檢驗記錄，這些數據是工業生產過程的人工記錄，需要對質量生產過程進行人工干預才可以獲得，有些數據因此產生了較大的誤差和偏移，以至于很多統計方法無法接近真實過程。
目前，我國已進入工業化后期，國際先進的制造技術和設備被大量引進，其中包括具備強大數據生產能力的數控設備、網控設備和電子自動檢測裝置等，這些先進的電子設備可以大量測定、檢驗和記錄數據，生成連續性、大規模和高精度的同步數據集，此即企業大數據的雛形。在一些先進的制造企業，技術人員已經可以直接從設備上導出大量的數據用以完成SPC、MSA、DOE等經典統計模型的擬合和研判，可以實現真正的大數據同步質量分析、檢驗和預警目標。
因此，當前企業主要的數據來源有四個方面，一是企業管理數據，包括企業管理統計臺賬、績效考據數據、經營管理數據、投資和財務數據、營銷數據等；二是企業生產過程數據，包括來自電子設備和網絡設備中自動記錄和篩選的數據；三是質量檢驗和驗收的數據；四是來自供應鏈和客戶調查的數據。這些數據大部分是連續生產的，主要是定量數據，也包含一些定性數據，這些數據構成企業經營管理活動的新資源。
（二）統計方法選擇的基本原則。
問題導向的統計方法選擇一般以數據為基礎，有的方法要求的數據量比較少，因而容易在實踐中使用，比如SPC、DOE等，而有的統計方法則要求更多的數據量和數據質量，比如時間序列和可靠性統計分析方法等。因此，選擇統計方法時，應考慮所需要的數據在多個方面的特征和要求。
一是數據的易得性，要能夠很容易和低成本地采集數據，對于網控設備來說，還應考慮網絡聯通問題；二是數據的統計口徑、測量設備和測定方法要保持一致，這樣的數據才具備基本的分析基礎和分析能力；三是大數據的連續性采集能力，一些現場數據的采集必須滿足連續性的要求，才可以輔助實施和分析，采用管理學意義上的價值，比如統計過程控制和抽樣檢驗的數據等；四是保持數據采集的可重復性、可復現性和可控制性，大量統計數據的誤差只有通過較為嚴格的方差分析和參數檢驗、分布模擬可能付諸建模分析和質量改進，因此要保證數據的采集技術不會帶來較大的誤差影響。
【數據分析中要注意的統計學問題】相關文章：
Excel中數據要雙擊單元格能更新數據問題的解決方法08-09
護理老人要注意的問題04-10
分類數據的統計分析技巧09-16
室內插花要注意哪些問題11-18
給外國人送禮要注意哪些問題12-07
如何提取CAD圖紙中圖形的數據04-06
與人交談語言需要注意的幾個問題10-25
演講時需要注意什么問題09-27
跳繩時需要注意哪些安全問題08-29