碩士論文開題報告模板4500字
一、課題來源：
本課題來源于作者在學(xué)習(xí)和實習(xí)中了解到的兩個事實，屬于自擬課題。
其一，作者在2011年7月在XXX公司調(diào)研，了解到現(xiàn)如今各行業(yè)都面臨著數(shù)據(jù)量劇增長，并由此帶來業(yè)務(wù)處理速度緩慢，數(shù)據(jù)維護(hù)困難等問題。為了應(yīng)對此挑戰(zhàn)，很多企業(yè)開實施大數(shù)據(jù)發(fā)展戰(zhàn)略�，F(xiàn)如今的大數(shù)據(jù)發(fā)展戰(zhàn)略可以概括為兩類，一類是垂直擴展。即采用存儲容量更大，處理能力更強的設(shè)備，此種方式成本較大，過去很多大公司一直采用此種方法處理大數(shù)據(jù)。但自從2004年Google發(fā)布關(guān)于GFS，MapReduce和BigTable三篇技術(shù)論文之后，云計算開始興起，2006年Apache Hadoop項目啟動。隨后從2009年開始，隨著云計算和大數(shù)據(jù)的發(fā)展，Hadoop作為一種優(yōu)秀的數(shù)據(jù)分析、處理解決方案，開始受到許多 IT企業(yè)的關(guān)注。相較于垂直擴張所需的昂貴成本，人們更鐘情于采用這種通過整合廉價計算資源的水平擴展方式。于是很多IT企業(yè)開始探索采用Hadoop框架構(gòu)建自己的大數(shù)據(jù)環(huán)境。
其二，作者自2013年4月在XXX實習(xí)過程中進(jìn)一步了解到，因為關(guān)系數(shù)據(jù)庫在存儲數(shù)據(jù)格式方面的局限，以及其Schema機制帶來的擴展性上的不便，目前在大部分的大數(shù)據(jù)應(yīng)用環(huán)境中都采用非結(jié)構(gòu)化的數(shù)據(jù)庫，如列式存儲的Hbase，文檔型存儲的MangoDB，圖數(shù)據(jù)庫neo4j等。這些非結(jié)構(gòu)化數(shù)據(jù)庫因為可擴展性強、資源利用率高，高并發(fā)、響應(yīng)速度快等優(yōu)勢，在大數(shù)據(jù)應(yīng)用環(huán)境中得到了廣泛的應(yīng)用。但此種應(yīng)用只解決了前端的業(yè)務(wù)處理，要真正利用大數(shù)據(jù)實現(xiàn)商務(wù)智能，還需要為決策支持系統(tǒng)和聯(lián)機分析應(yīng)用等提供一數(shù)據(jù)環(huán)境——數(shù)據(jù)倉庫。為此，導(dǎo)師指導(dǎo)本文作者擬此題目，研究基于Hadoop框架的數(shù)據(jù)倉庫解決方案。
二、研究目的和意義：
現(xiàn)如今，數(shù)據(jù)已經(jīng)滲透到每一個行業(yè)，成為重要的生產(chǎn)因素。近年來，由于歷史積累和和數(shù)據(jù)增長速度加快，各行業(yè)都面臨著大數(shù)據(jù)的難題。事實上，大數(shù)據(jù)既是機遇又時挑戰(zhàn)。合理、充分利用大數(shù)據(jù)，將其轉(zhuǎn)變?yōu)楹Ａ�、高增長率和多樣化的信息資產(chǎn)，將使得企業(yè)具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化等能力。因此，很多IT企業(yè)都將大數(shù)據(jù)作為其重要的發(fā)展戰(zhàn)略，如亞馬遜、FaceBook已布局大數(shù)據(jù)產(chǎn)業(yè)，并取得了驕人的成績。事實上，不止谷歌、易趣網(wǎng)或亞馬遜這樣的大型互聯(lián)網(wǎng)企業(yè)需要發(fā)展大數(shù)據(jù)，任何規(guī)模的企業(yè)都有機會從大數(shù)據(jù)中獲得優(yōu)勢，并由此構(gòu)建其未來業(yè)務(wù)分析的基礎(chǔ)，在與同行的競爭中，取得顯著的優(yōu)勢。
相較于大型企業(yè)，中小企業(yè)的大數(shù)據(jù)發(fā)展戰(zhàn)略不同。大公司可以憑借雄厚的資本和技術(shù)實力，從自身環(huán)境和業(yè)務(wù)出發(fā)，開發(fā)自己的軟件平臺。而中小企業(yè)沒有那樣的技術(shù)實力，也沒有那么龐大的資金投入，更傾向于選擇一個普遍的、相對廉價的解決方案。本文旨在分析大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫的特點，結(jié)合當(dāng)下流行的Hadoop框架，提出了一種適用于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫的解決方案并實現(xiàn)。為中小企業(yè)在大數(shù)據(jù)環(huán)境中構(gòu)建數(shù)據(jù)倉庫提供參考。其具體說來，主要有以下三方面意義：
首先，目前主流的數(shù)據(jù)庫如Oracle、SQL Server都有對應(yīng)自己數(shù)據(jù)庫平臺的一整套的數(shù)據(jù)倉庫解決方案，對于其他的關(guān)系型數(shù)據(jù)庫如MySQL等，雖然沒有對應(yīng)數(shù)據(jù)庫平臺的數(shù)據(jù)倉庫解決方案，但有很多整合的數(shù)據(jù)倉庫解決方案。而對于非結(jié)構(gòu)化的數(shù)據(jù)庫，因其數(shù)據(jù)模型不同于關(guān)系型數(shù)據(jù)庫，需要新的解決方案，本文提出的基于Hive/Pentaho的數(shù)據(jù)倉庫實現(xiàn)方案可以為其提供一個參考。
其次，通過整合多源非結(jié)構(gòu)化數(shù)據(jù)庫，生成一個面向主題、集成的數(shù)據(jù)倉庫，可為大數(shù)據(jù)平臺上的聯(lián)機事務(wù)處理、決策支持等提供數(shù)據(jù)環(huán)境，從而有效利用數(shù)據(jù)資源輔助管理決策。
再次，大數(shù)據(jù)是一個廣泛的概念，包括大數(shù)據(jù)存儲、大數(shù)據(jù)計算、大數(shù)據(jù)分析等各個層次的技術(shù)細(xì)節(jié)，本文提出的“大數(shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫解決方案及實現(xiàn)“豐富了大數(shù)據(jù)應(yīng)用技術(shù)的生態(tài)環(huán)境，為大數(shù)據(jù)環(huán)境下的數(shù)據(jù)分析、數(shù)據(jù)挖掘等提供支撐。
三、國內(nèi)外研究現(xiàn)狀和發(fā)展趨勢的簡要說明：
本文研究的主體是數(shù)據(jù)倉庫，區(qū)別于傳統(tǒng)基于關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)倉庫，本文聚焦大數(shù)據(jù)環(huán)境下基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫的構(gòu)建與實現(xiàn)。因此，有必要從數(shù)據(jù)倉庫和大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫兩方面進(jìn)行闡述。
(一) 數(shù)據(jù)倉庫國內(nèi)外研究現(xiàn)狀
自從Bill Inmon 在1990年提出“數(shù)據(jù)倉庫”這一概念之后，數(shù)據(jù)倉庫技術(shù)開始興起，并給社會帶來新的契機，逐漸成為一大技術(shù)熱點。目前，美國30%到40%的公司已經(jīng)或正在建造數(shù)據(jù)倉庫�，F(xiàn)如今隨著數(shù)據(jù)模型理論的完善，數(shù)據(jù)庫技術(shù)、應(yīng)用開發(fā)及挖掘技術(shù)的不斷進(jìn)步，數(shù)據(jù)倉庫技術(shù)不斷發(fā)展，并在實際應(yīng)用中發(fā)揮了巨大的作用。以數(shù)據(jù)倉庫為基礎(chǔ)，以聯(lián)機分析處理和數(shù)據(jù)挖掘工具為手段的決策支持系統(tǒng)日漸成熟。與此同時，使用數(shù)據(jù)倉庫所產(chǎn)生的巨大效益又刺激了對數(shù)據(jù)倉庫技術(shù)的需求，數(shù)據(jù)倉庫市場正以迅猛的勢頭向前發(fā)展。
我國企業(yè)信息化起步相對較晚，數(shù)據(jù)倉庫技術(shù)在國內(nèi)的發(fā)展還處于積累經(jīng)驗階段。雖然近年來，我國大中型企業(yè)逐步認(rèn)識到利用數(shù)據(jù)倉庫技術(shù)的重要性，并已開始建立自己的數(shù)據(jù)倉庫系統(tǒng)，如中國移動、中國電信、中國聯(lián)通、上海證券交易所和中國石油等。但從整體上來看，我國數(shù)據(jù)倉庫市場還需要進(jìn)一步培育，數(shù)據(jù)倉庫技術(shù)同國外還有很大差距。為此，我國許多科技工作者已開始對數(shù)據(jù)倉庫相關(guān)技術(shù)進(jìn)行深入研究，通過對國外技術(shù)的吸收和借鑒，在此基礎(chǔ)上提出適合國內(nèi)需求的技術(shù)方案。
(二) 非結(jié)化數(shù)據(jù)庫國內(nèi)外研究現(xiàn)狀
隨著數(shù)據(jù)庫技術(shù)深入應(yīng)用到各個領(lǐng)域，結(jié)構(gòu)化數(shù)據(jù)庫逐漸顯露出一些弊端。如在生物、地理、氣候等領(lǐng)域，研究面對的數(shù)據(jù)結(jié)構(gòu)并不是傳統(tǒng)上的關(guān)系數(shù)據(jù)結(jié)構(gòu)。如果使用關(guān)系數(shù)據(jù)庫對其進(jìn)行存儲、展示，就必須將其從本身的數(shù)據(jù)結(jié)構(gòu)強行轉(zhuǎn)換為關(guān)系數(shù)據(jù)結(jié)構(gòu)。采用此種方式處理非結(jié)構(gòu)數(shù)據(jù)，不能在整個生命周期內(nèi)對非關(guān)系數(shù)據(jù)進(jìn)行管理，并且數(shù)據(jù)間的關(guān)系也無法完整的表示出來。在此背景下，非結(jié)構(gòu)化數(shù)據(jù)庫應(yīng)運而生。相較于關(guān)系數(shù)據(jù)庫，非結(jié)構(gòu)數(shù)據(jù)庫的字段長度可變，并且每個字段的記錄又可以由可重復(fù)或不可重復(fù)的子字段構(gòu)成。如此，它不僅可以處理結(jié)構(gòu)化數(shù)據(jù)，更能處理文本、圖象、聲音、影視、超媒體等非結(jié)構(gòu)化數(shù)據(jù)。近年來，隨著大數(shù)據(jù)興起，非結(jié)構(gòu)數(shù)據(jù)庫開始廣泛應(yīng)用，以支持大數(shù)據(jù)處理的多種結(jié)構(gòu)數(shù)據(jù)。
目前，非結(jié)構(gòu)化的數(shù)據(jù)庫種類繁多，按其存儲數(shù)據(jù)類型分，主要包含內(nèi)存數(shù)據(jù)庫、列存儲型、文檔數(shù)據(jù)庫、圖數(shù)據(jù)庫等。其中，常見的內(nèi)存數(shù)據(jù)庫有SQLite，Redis，Altibase等;列存儲數(shù)據(jù)庫有Hbase，Bigtable等;文檔數(shù)據(jù)庫有MangoDB，CouchDB，RavenDB等;圖數(shù)據(jù)庫有Neo4j等。近年來，我國非結(jié)構(gòu)數(shù)據(jù)庫也有一定發(fā)展，其中最具代表的是國信貝斯的iBASE數(shù)據(jù)庫。可以預(yù)見在不久的將來，伴隨這大數(shù)據(jù)的應(yīng)用，非結(jié)構(gòu)數(shù)據(jù)庫將會得到長足的發(fā)展和廣泛的應(yīng)用。
四、主要研究內(nèi)容和要求達(dá)到的深度：
本文研究的方向是數(shù)據(jù)倉庫，并且是聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設(shè)，其主要內(nèi)容包括以下幾點：
1. 非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫解決方案：本文聚焦于大數(shù)據(jù)這一特定環(huán)境下的數(shù)據(jù)倉庫建設(shè)，因為大數(shù)據(jù)環(huán)境下的數(shù)據(jù)倉庫建設(shè)理論文獻(xiàn)很少，首先需要以研究關(guān)系數(shù)據(jù)庫型數(shù)據(jù)倉庫的解決方案為參考，然后對比關(guān)系數(shù)據(jù)庫和非結(jié)構(gòu)數(shù)據(jù)庫的特點，最后在參考方案的基礎(chǔ)上改進(jìn)，以得到適合非結(jié)構(gòu)數(shù)據(jù)庫環(huán)境的數(shù)據(jù)倉庫解決方案。
2. 非結(jié)構(gòu)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫間數(shù)據(jù)轉(zhuǎn)換：非結(jié)構(gòu)數(shù)據(jù)庫是對關(guān)系數(shù)據(jù)庫的補充，很多非結(jié)構(gòu)數(shù)據(jù)庫應(yīng)用環(huán)境中都有關(guān)系數(shù)據(jù)庫的身影。因此，非結(jié)構(gòu)數(shù)據(jù)庫和關(guān)系數(shù)據(jù)庫間數(shù)據(jù)轉(zhuǎn)換是建立非結(jié)構(gòu)數(shù)據(jù)庫需要解決的一個關(guān)鍵問題。
3. 基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫構(gòu)建：本文擬采用手禮網(wǎng)的數(shù)據(jù)，分析其具體的數(shù)據(jù)環(huán)境和需求，為其構(gòu)建基于非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫，主要包括非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)抽取，Hive數(shù)據(jù)庫入庫操作和Pentaho前臺數(shù)據(jù)展現(xiàn)等。
五、研究工作的主要階段、進(jìn)度和完成時間：
結(jié)合研究需要和學(xué)校教務(wù)管理的安排，研究工作主要分以下四階段完成：
第一階段：論文提綱：20XX年6月——7月
第二階段：論文初稿 ：20XX年8月——10月
第三階段：論文修改：20XX年11月——2014年3月
第四階段：最終定稿：20XX年4月
六、擬采用的研究方法、手段等及采取的措施：
在論文提綱階段，本文擬采用調(diào)查統(tǒng)計的方法，收集目前大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫應(yīng)用情況，著重統(tǒng)計各類型數(shù)據(jù)庫的應(yīng)用比例。同時采用文獻(xiàn)分析和個案研究的方法研究數(shù)據(jù)倉庫構(gòu)建的一般過程和對應(yīng)的技術(shù)細(xì)節(jié)，并提出解決方案。在論文初稿和修改階段，本文擬通過實證研究，依據(jù)提綱階段在文獻(xiàn)分析中收集到的理論，基于特定的實踐環(huán)境，理論結(jié)合實踐，實現(xiàn)某一具體數(shù)據(jù)倉庫的構(gòu)建。最后采用定性和定量相結(jié)合的方法，詳細(xì)介紹大數(shù)據(jù)環(huán)境下數(shù)據(jù)庫和數(shù)據(jù)倉庫的特點，其數(shù)據(jù)倉庫實現(xiàn)的關(guān)鍵問題及解決方案，以及數(shù)據(jù)倉庫個例實現(xiàn)的詳細(xì)過程。
七、可能遇見的困難、問題及擬采取的解決辦法、措施：
基于本文的研究內(nèi)容和特點分析，本文在研究過程中最有可能遇到三個關(guān)鍵問題。
其一，非結(jié)構(gòu)數(shù)據(jù)庫種類繁多，每類數(shù)據(jù)庫又對應(yīng)有不同的數(shù)據(jù)庫產(chǎn)品，由于當(dāng)下非結(jié)構(gòu)數(shù)據(jù)庫沒有統(tǒng)一標(biāo)準(zhǔn)，即便同類數(shù)據(jù)庫下不同產(chǎn)品的操作都不盡相同，難以為所有非結(jié)構(gòu)數(shù)據(jù)庫提出解決方案。針對此問題，本文擬緊貼大數(shù)據(jù)這一背景，選擇當(dāng)下大數(shù)據(jù)環(huán)境中應(yīng)用最多的幾類數(shù)據(jù)庫的代表性產(chǎn)品進(jìn)行實現(xiàn)。
其二，雖然經(jīng)過二十年的發(fā)展，數(shù)據(jù)倉庫的理論已日趨完善，但大數(shù)據(jù)是近幾年才發(fā)展起來的技術(shù)熱點，大樹據(jù)環(huán)境下的數(shù)據(jù)倉庫建設(shè)理論文獻(xiàn)很少。針對此問題，本文擬參考現(xiàn)有的成熟的關(guān)系數(shù)據(jù)庫環(huán)境下數(shù)據(jù)倉庫構(gòu)建方案和非結(jié)構(gòu)化數(shù)據(jù)倉庫理論，研究適合非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)倉庫構(gòu)建方案，請導(dǎo)師就方案進(jìn)行指導(dǎo)，然后再研究具體技術(shù)細(xì)節(jié)實現(xiàn)方案。
其三，基于大數(shù)據(jù)環(huán)境的數(shù)據(jù)倉庫實現(xiàn)是本文重要的組成部分，要完成此部分的工作需要企業(yè)提供數(shù)據(jù)支持，但現(xiàn)在數(shù)據(jù)在企業(yè)當(dāng)中的保密級別都很高，一般企業(yè)都不會將自己的業(yè)務(wù)數(shù)據(jù)外傳。針對此問題，本文擬采用企業(yè)非核心業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)倉庫實現(xiàn)。
八、大綱
本文的基本構(gòu)想和思路，文章擬分為導(dǎo)論、大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹、大數(shù)據(jù)下數(shù)據(jù)倉庫關(guān)鍵問題研究、基于XX電子商務(wù)的大數(shù)據(jù)下數(shù)據(jù)倉庫實現(xiàn)、結(jié)論五部分。
導(dǎo)論
一、研究背景
二、國內(nèi)外研究現(xiàn)狀述評
三、本文的主要內(nèi)容與研究思路
第一章 大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫介紹
第一節(jié) 大數(shù)據(jù)對數(shù)據(jù)庫的要求
第二節(jié) 關(guān)系數(shù)據(jù)庫和非結(jié)構(gòu)數(shù)據(jù)庫比較
第三節(jié) 大數(shù)據(jù)下常用非結(jié)構(gòu)數(shù)據(jù)庫介紹
小結(jié)
第二章 大數(shù)據(jù)下數(shù)據(jù)倉庫關(guān)鍵問題研究
第一節(jié) 非結(jié)構(gòu)數(shù)據(jù)模型和關(guān)系數(shù)據(jù)模型的轉(zhuǎn)換
第二節(jié) 基于多源非結(jié)構(gòu)數(shù)據(jù)庫的數(shù)據(jù)抽取
第三節(jié) 數(shù)據(jù)類型轉(zhuǎn)換
第四節(jié) 數(shù)據(jù)倉庫前端展示
第三章 大數(shù)據(jù)下數(shù)據(jù)倉庫實現(xiàn)方案
第一節(jié) 大數(shù)據(jù)環(huán)境介紹
第二節(jié) 實現(xiàn)方案
第二節(jié) Hive介紹
第三節(jié) Pentaho介紹
第四章 基于XX電子商務(wù)的大數(shù)據(jù)下數(shù)據(jù)倉庫實現(xiàn)
第一節(jié) 需求分析
第二節(jié) 模型設(shè)計
第三節(jié) 概要設(shè)計
第四節(jié) 基于Hive的數(shù)據(jù)入庫操作實現(xiàn)
第五節(jié) 基于Pentaho的數(shù)據(jù)倉庫前端展示實現(xiàn)
結(jié)論
【碩士論文開題報告】相關(guān)文章：
碩士論文開題報告模板11-16
碩士論文開題報告的格式11-17
工學(xué)碩士論文開題報告05-25
碩士論文開題報告的要求03-29
碩士論文開題報告寫作11-20
碩士論文開題報告范文12-02
體育碩士論文開題報告11-24
教育碩士論文開題報告11-17
關(guān)于碩士論文的開題報告11-26
哲學(xué)碩士論文開題報告11-23