碩士論文開題報告

時間：2024-05-26 18:31:01 碩士論文我要投稿

碩士論文開題報告模板4500字

　　一、課題來源：

碩士論文開題報告模板4500字

　　本課題來源于作者在學習和實習中了解到的兩個事實，屬于自擬課題。

　　其一，作者在2011年7月在XXX公司調研，了解到現(xiàn)如今各行業(yè)都面臨著數(shù)據(jù)量劇增長，并由此帶來業(yè)務處理速度緩慢，數(shù)據(jù)維護困難等問題。為了應對此挑戰(zhàn)，很多企業(yè)開實施大數(shù)據(jù)發(fā)展戰(zhàn)略。現(xiàn)如今的大數(shù)據(jù)發(fā)展戰(zhàn)略可以概括為兩類，一類是垂直擴展。即采用存儲容量更大，處理能力更強的設備，此種方式成本較大，過去很多大公司一直采用此種方法處理大數(shù)據(jù)。但自從2004年Google發(fā)布關于GFS，MapReduce和BigTable三篇技術論文之后，云計算開始興起，2006年Apache Hadoop項目啟動。隨后從2009年開始，隨著云計算和大數(shù)據(jù)的發(fā)展，Hadoop作為一種優(yōu)秀的數(shù)據(jù)分析、處理解決方案，開始受到許多 IT企業(yè)的關注。相較于垂直擴張所需的昂貴成本，人們更鐘情于采用這種通過整合廉價計算資源的水平擴展方式。于是很多IT企業(yè)開始探索采用Hadoop框架構建自己的大數(shù)據(jù)環(huán)境。

　　其二，作者自2013年4月在XXX實習過程中進一步了解到，因為關系數(shù)據(jù)庫在存儲數(shù)據(jù)格式方面的局限，以及其Schema機制帶來的擴展性上的不便，目前在大部分的大數(shù)據(jù)應用環(huán)境中都采用非結構化的數(shù)據(jù)庫，如列式存儲的Hbase，文檔型存儲的MangoDB，圖數(shù)據(jù)庫neo4j等。這些非結構化數(shù)據(jù)庫因為可擴展性強、資源利用率高，高并發(fā)、響應速度快等優(yōu)勢，在大數(shù)據(jù)應用環(huán)境中得到了廣泛的應用。但此種應用只解決了前端的業(yè)務處理，要真正利用大數(shù)據(jù)實現(xiàn)商務智能，還需要為決策支持系統(tǒng)和聯(lián)機分析應用等提供一數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫。為此，導師指導本文作者擬此題目，研究基于Hadoop框架的數(shù)據(jù)倉庫解決方案。

　　二、研究目的和意義：

　　現(xiàn)如今，數(shù)據(jù)已經滲透到每一個行業(yè)，成為重要的生產因素。近年來，由于歷史積累和和數(shù)據(jù)增長速度加快，各行業(yè)都面臨著大數(shù)據(jù)的難題。事實上，大數(shù)據(jù)既是機遇又時挑戰(zhàn)。合理、充分利用大數(shù)據(jù)，將其轉變?yōu)楹Ａ俊⒏咴鲩L率和多樣化的信息資產，將使得企業(yè)具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化等能力。因此，很多IT企業(yè)都將大數(shù)據(jù)作為其重要的發(fā)展戰(zhàn)略，如亞馬遜、FaceBook已布局大數(shù)據(jù)產業(yè)，并取得了驕人的成績。事實上，不止谷歌、易趣網或亞馬遜這樣的大型互聯(lián)網企業(yè)需要發(fā)展大數(shù)據(jù)，任何規(guī)模的企業(yè)都有機會從大數(shù)據(jù)中獲得優(yōu)勢，并由此構建其未來業(yè)務分析的基礎，在與同行的競爭中，取得顯著的優(yōu)勢。

　　相較于大型企業(yè)，中小企業(yè)的大數(shù)據(jù)發(fā)展戰(zhàn)略不同。大公司可以憑借雄厚的資本和技術實力，從自身環(huán)境和業(yè)務出發(fā)，開發(fā)自己的軟件平臺。而中小企業(yè)沒有那樣的技術實力，也沒有那么龐大的資金投入，更傾向于選擇一個普遍的、相對廉價的解決方案。本文旨在分析大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫的特點，結合當下流行的Hadoop框架，提出了一種適用于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫的解決方案并實現(xiàn)。為中小企業(yè)在大數(shù)據(jù)環(huán)境中構建數(shù)據(jù)倉庫提供參考。其具體說來，主要有以下三方面意義：

　　首先，目前主流的數(shù)據(jù)庫如Oracle、SQL Server都有對應自己數(shù)據(jù)庫平臺的一整套的數(shù)據(jù)倉庫解決方案，對于其他的關系型數(shù)據(jù)庫如MySQL等，雖然沒有對應數(shù)據(jù)庫平臺的數(shù)據(jù)倉庫解決方案，但有很多整合的數(shù)據(jù)倉庫解決方案。而對于非結構化的數(shù)據(jù)庫，因其數(shù)據(jù)模型不同于關系型數(shù)據(jù)庫，需要新的解決方案，本文提出的基于Hive/Pentaho的數(shù)據(jù)倉庫實現(xiàn)方案可以為其提供一個參考。

　　其次，通過整合多源非結構化數(shù)據(jù)庫，生成一個面向主題、集成的數(shù)據(jù)倉庫，可為大數(shù)據(jù)平臺上的聯(lián)機事務處理、決策支持等提供數(shù)據(jù)環(huán)境，從而有效利用數(shù)據(jù)資源輔助管理決策。

　　再次，大數(shù)據(jù)是一個廣泛的概念，包括大數(shù)據(jù)存儲、大數(shù)據(jù)計算、大數(shù)據(jù)分析等各個層次的技術細節(jié)，本文提出的“大數(shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫解決方案及實現(xiàn)“豐富了大數(shù)據(jù)應用技術的生態(tài)環(huán)境，為大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析、數(shù)據(jù)挖掘等提供支撐。

　　三、國內外研究現(xiàn)狀和發(fā)展趨勢的簡要說明：

　　本文研究的主體是數(shù)據(jù)倉庫，區(qū)別于傳統(tǒng)基于關系型數(shù)據(jù)庫的數(shù)據(jù)倉庫，本文聚焦大數(shù)據(jù)環(huán)境下基于非結構數(shù)據(jù)庫的數(shù)據(jù)倉庫的構建與實現(xiàn)。因此，有必要從數(shù)據(jù)倉庫和大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫兩方面進行闡述。

　　(一) 數(shù)據(jù)倉庫國內外研究現(xiàn)狀

　　自從Bill Inmon 在1990年提出“數(shù)據(jù)倉庫”這一概念之后，數(shù)據(jù)倉庫技術開始興起，并給社會帶來新的契機，逐漸成為一大技術熱點。目前，美國30%到40%的公司已經或正在建造數(shù)據(jù)倉庫。現(xiàn)如今隨著數(shù)據(jù)模型理論的完善，數(shù)據(jù)庫技術、應用開發(fā)及挖掘技術的不斷進步，數(shù)據(jù)倉庫技術不斷發(fā)展，并在實際應用中發(fā)揮了巨大的作用。以數(shù)據(jù)倉庫為基礎，以聯(lián)機分析處理和數(shù)據(jù)挖掘工具為手段的決策支持系統(tǒng)日漸成熟。與此同時，使用數(shù)據(jù)倉庫所產生的巨大效益又刺激了對數(shù)據(jù)倉庫技術的需求，數(shù)據(jù)倉庫市場正以迅猛的勢頭向前發(fā)展。

　　我國企業(yè)信息化起步相對較晚，數(shù)據(jù)倉庫技術在國內的發(fā)展還處于積累經驗階段。雖然近年來，我國大中型企業(yè)逐步認識到利用數(shù)據(jù)倉庫技術的重要性，并已開始建立自己的數(shù)據(jù)倉庫系統(tǒng)，如中國移動、中國電信、中國聯(lián)通、上海證券交易所和中國石油等。但從整體上來看，我國數(shù)據(jù)倉庫市場還需要進一步培育，數(shù)據(jù)倉庫技術同國外還有很大差距。為此，我國許多科技工作者已開始對數(shù)據(jù)倉庫相關技術進行深入研究，通過對國外技術的吸收和借鑒，在此基礎上提出適合國內需求的技術方案。

　　(二) 非結化數(shù)據(jù)庫國內外研究現(xiàn)狀

　　隨著數(shù)據(jù)庫技術深入應用到各個領域，結構化數(shù)據(jù)庫逐漸顯露出一些弊端。如在生物、地理、氣候等領域，研究面對的數(shù)據(jù)結構并不是傳統(tǒng)上的關系數(shù)據(jù)結構。如果使用關系數(shù)據(jù)庫對其進行存儲、展示，就必須將其從本身的數(shù)據(jù)結構強行轉換為關系數(shù)據(jù)結構。采用此種方式處理非結構數(shù)據(jù)，不能在整個生命周期內對非關系數(shù)據(jù)進行管理，并且數(shù)據(jù)間的關系也無法完整的表示出來。在此背景下，非結構化數(shù)據(jù)庫應運而生。相較于關系數(shù)據(jù)庫，非結構數(shù)據(jù)庫的字段長度可變，并且每個字段的記錄又可以由可重復或不可重復的子字段構成。如此，它不僅可以處理結構化數(shù)據(jù)，更能處理文本、圖象、聲音、影視、超媒體等非結構化數(shù)據(jù)。近年來，隨著大數(shù)據(jù)興起，非結構數(shù)據(jù)庫開始廣泛應用，以支持大數(shù)據(jù)處理的多種結構數(shù)據(jù)。

　　目前，非結構化的數(shù)據(jù)庫種類繁多，按其存儲數(shù)據(jù)類型分，主要包含內存數(shù)據(jù)庫、列存儲型、文檔數(shù)據(jù)庫、圖數(shù)據(jù)庫等。其中，常見的內存數(shù)據(jù)庫有SQLite，Redis，Altibase等;列存儲數(shù)據(jù)庫有Hbase，Bigtable等;文檔數(shù)據(jù)庫有MangoDB，CouchDB，RavenDB等;圖數(shù)據(jù)庫有Neo4j等。近年來，我國非結構數(shù)據(jù)庫也有一定發(fā)展，其中最具代表的是國信貝斯的iBASE數(shù)據(jù)庫。可以預見在不久的將來，伴隨這大數(shù)據(jù)的應用，非結構數(shù)據(jù)庫將會得到長足的發(fā)展和廣泛的應用。

　　四、主要研究內容和要求達到的深度：

　　本文研究的方向是數(shù)據(jù)倉庫，并且是聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設，其主要內容包括以下幾點：

　　1. 非結構數(shù)據(jù)庫的數(shù)據(jù)倉庫解決方案：本文聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設，因為大數(shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫建設理論文獻很少，首先需要以研究關系數(shù)據(jù)庫型數(shù)據(jù)倉庫的解決方案為參考，然后對比關系數(shù)據(jù)庫和非結構數(shù)據(jù)庫的特點，最后在參考方案的基礎上改進，以得到適合非結構數(shù)據(jù)庫環(huán)境的數(shù)據(jù)倉庫解決方案。

　　2. 非結構數(shù)據(jù)庫和關系數(shù)據(jù)庫間數(shù)據(jù)轉換：非結構數(shù)據(jù)庫是對關系數(shù)據(jù)庫的補充，很多非結構數(shù)據(jù)庫應用環(huán)境中都有關系數(shù)據(jù)庫的身影。因此，非結構數(shù)據(jù)庫和關系數(shù)據(jù)庫間數(shù)據(jù)轉換是建立非結構數(shù)據(jù)庫需要解決的一個關鍵問題。

　　3. 基于非結構數(shù)據(jù)庫的數(shù)據(jù)倉庫構建：本文擬采用手禮網的數(shù)據(jù)，分析其具體的數(shù)據(jù)環(huán)境和需求，為其構建基于非結構數(shù)據(jù)庫的數(shù)據(jù)倉庫，主要包括非結構數(shù)據(jù)庫的數(shù)據(jù)抽取，Hive數(shù)據(jù)庫入庫操作和Pentaho前臺數(shù)據(jù)展現(xiàn)等。

　　五、研究工作的主要階段、進度和完成時間：

　　結合研究需要和學校教務管理的安排，研究工作主要分以下四階段完成：

　　第一階段：論文提綱：20XX年6月——7月

　　第二階段：論文初稿：20XX年8月——10月

　　第三階段：論文修改：20XX年11月——2014年3月

　　第四階段：最終定稿：20XX年4月

　　六、擬采用的研究方法、手段等及采取的措施：

　　在論文提綱階段，本文擬采用調查統(tǒng)計的方法，收集目前大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫應用情況，著重統(tǒng)計各類型數(shù)據(jù)庫的應用比例。同時采用文獻分析和個案研究的方法研究數(shù)據(jù)倉庫構建的一般過程和對應的技術細節(jié)，并提出解決方案。在論文初稿和修改階段，本文擬通過實證研究，依據(jù)提綱階段在文獻分析中收集到的理論，基于特定的實踐環(huán)境，理論結合實踐，實現(xiàn)某一具體數(shù)據(jù)倉庫的構建。最后采用定性和定量相結合的方法，詳細介紹大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫和數(shù)據(jù)倉庫的特點，其數(shù)據(jù)倉庫實現(xiàn)的關鍵問題及解決方案，以及數(shù)據(jù)倉庫個例實現(xiàn)的詳細過程。

　　七、可能遇見的困難、問題及擬采取的解決辦法、措施：

　　基于本文的研究內容和特點分析，本文在研究過程中最有可能遇到三個關鍵問題。

　　其一，非結構數(shù)據(jù)庫種類繁多，每類數(shù)據(jù)庫又對應有不同的數(shù)據(jù)庫產品，由于當下非結構數(shù)據(jù)庫沒有統(tǒng)一標準，即便同類數(shù)據(jù)庫下不同產品的操作都不盡相同，難以為所有非結構數(shù)據(jù)庫提出解決方案。針對此問題，本文擬緊貼大數(shù)據(jù)這一背景，選擇當下大數(shù)據(jù)環(huán)境中應用最多的幾類數(shù)據(jù)庫的代表性產品進行實現(xiàn)。

　　其二，雖然經過二十年的發(fā)展，數(shù)據(jù)倉庫的理論已日趨完善，但大數(shù)據(jù)是近幾年才發(fā)展起來的技術熱點，大樹據(jù)環(huán)境下的數(shù)據(jù)倉庫建設理論文獻很少。針對此問題，本文擬參考現(xiàn)有的成熟的關系數(shù)據(jù)庫環(huán)境下數(shù)據(jù)倉庫構建方案和非結構化數(shù)據(jù)倉庫理論，研究適合非結構數(shù)據(jù)庫的數(shù)據(jù)倉庫構建方案，請導師就方案進行指導，然后再研究具體技術細節(jié)實現(xiàn)方案。

　　其三，基于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫實現(xiàn)是本文重要的組成部分，要完成此部分的工作需要企業(yè)提供數(shù)據(jù)支持，但現(xiàn)在數(shù)據(jù)在企業(yè)當中的保密級別都很高，一般企業(yè)都不會將自己的業(yè)務數(shù)據(jù)外傳。針對此問題，本文擬采用企業(yè)非核心業(yè)務數(shù)據(jù)進行數(shù)據(jù)倉庫實現(xiàn)。

　　八、大綱

　　本文的基本構想和思路，文章擬分為導論、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹、大數(shù)據(jù)下數(shù)據(jù)倉庫關鍵問題研究、基于XX電子商務的大數(shù)據(jù)下數(shù)據(jù)倉庫實現(xiàn)、結論五部分。

　　導論

　　一、研究背景

　　二、國內外研究現(xiàn)狀述評

　　三、本文的主要內容與研究思路

　　第一章大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹

　　第一節(jié) 大數(shù)據(jù)對數(shù)據(jù)庫的要求

　　第二節(jié) 關系數(shù)據(jù)庫和非結構數(shù)據(jù)庫比較

　　第三節(jié) 大數(shù)據(jù)下常用非結構數(shù)據(jù)庫介紹

　　小結

　　第二章大數(shù)據(jù)下數(shù)據(jù)倉庫關鍵問題研究