對于鐵路物資應(yīng)用大數(shù)據(jù)管理解決方案的研究論文
鐵路物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)首先構(gòu)建物資專業(yè)數(shù)據(jù)庫,需要補充和完善需要的數(shù)據(jù)項,構(gòu)建物資專業(yè)全量數(shù)據(jù)體系,例如增加重要物資的生產(chǎn)日期,技術(shù)證件(復(fù)印件或圖片),驗收記錄,復(fù)檢復(fù)驗業(yè)務(wù)數(shù)據(jù),質(zhì)量問題圖片數(shù)據(jù),供應(yīng)商的生產(chǎn)許可數(shù)據(jù)、生產(chǎn)資質(zhì)(圖片)等數(shù)據(jù);其次完善物資管理職能,豐富和增加基礎(chǔ)數(shù)據(jù)源,例如修舊利廢管理,廢舊物資管理等,在提高對廢、舊物資管理的同時,完善物資管理數(shù)據(jù)源;系統(tǒng)通過歸集處理,完成對物資專業(yè)產(chǎn)生的數(shù)據(jù)、與物資有關(guān)的其他數(shù)據(jù)、來自互聯(lián)網(wǎng)上的相關(guān)數(shù)據(jù),還包括手工編輯導(dǎo)入的數(shù)據(jù)等集中處理,將這些數(shù)據(jù)(結(jié)構(gòu)化、非結(jié)構(gòu)化)歸集到大平臺數(shù)據(jù)庫中,形成數(shù)據(jù)源;數(shù)據(jù)存儲和處理,采用大數(shù)據(jù)技術(shù)對歸集的數(shù)據(jù)源進行清洗、轉(zhuǎn)換并存入不同的數(shù)據(jù)庫,并進行匯總、挖掘處理,形成對外統(tǒng)一的大數(shù)據(jù)接口;數(shù)據(jù)查詢、分析和預(yù)測系統(tǒng)對處理后的大數(shù)據(jù)根據(jù)業(yè)務(wù)需求進行各種統(tǒng)計、查詢和預(yù)測,達到讓數(shù)據(jù)張口,靠數(shù)據(jù)說話,減少因缺少數(shù)據(jù)支撐而帶來的偏差,降低決策風(fēng)險。
1 物資管理數(shù)據(jù)體系
在物資管理信息系統(tǒng)中,增加物資的生產(chǎn)日期、入庫驗收信息,相關(guān)技術(shù)證件、復(fù)檢復(fù)驗數(shù)據(jù)等;在物資質(zhì)量問題反饋管理中增加質(zhì)量問題圖片;增加物資屬性圖片及供應(yīng)商的詳細信息(如生產(chǎn)規(guī)模、信譽等級、資質(zhì)、生產(chǎn)許可和認證等),建立物資專業(yè)基本信息庫,形成物資管理全量數(shù)據(jù)體。
1.1 完善物資管理職能
增加修舊利費管理子系統(tǒng),對卸下的配件經(jīng)過維修再利用,提高物資的使用率;增加廢舊物資管理子系統(tǒng),將報廢的各類物資進行分類歸集,由物資處進行統(tǒng)一處置,清算處理,沖減成本;增加物資質(zhì)量跟蹤管理子系統(tǒng),與各專業(yè)的生產(chǎn)檢修系統(tǒng)進行互聯(lián)互通,實現(xiàn)對物資采購、檢驗、使用、維修、報廢等全過程管理。
1.2 數(shù)據(jù)采集
數(shù)據(jù)采集就是從數(shù)據(jù)源收集、識別和選取數(shù)據(jù)的過程,隨著業(yè)務(wù)的進行,各類數(shù)據(jù)的累積越來越大,如何有效地收集這些數(shù)據(jù),保證采集數(shù)據(jù)的可靠性,避免重復(fù)數(shù)據(jù),保證數(shù)據(jù)的質(zhì)量,是數(shù)據(jù)采集這個環(huán)節(jié)需要解決的。
數(shù)據(jù)采集分為兩個來源:數(shù)據(jù)來自應(yīng)用系統(tǒng)之外,簡稱為外部采集;數(shù)據(jù)來自引用系統(tǒng)內(nèi)部,簡稱為內(nèi)部采集。外部采集主要來自物資經(jīng)營的專業(yè)網(wǎng)站,例如東方財富網(wǎng)等其他一些網(wǎng)站,數(shù)據(jù)包括關(guān)注物資的價格變化數(shù)據(jù),供應(yīng)商的生產(chǎn)、銷售數(shù)據(jù),價格數(shù)據(jù);還包括國家統(tǒng)計部門發(fā)布的GDP、PPI和CPI等;包括總公司、路局專業(yè)處室的下一時間段的大修、更新項目計劃數(shù)據(jù),主要用來分析和預(yù)測價格走勢,下一階段的物資采購預(yù)測等。
1.3 數(shù)據(jù)挖掘
數(shù)據(jù)挖掘作為一種決策支持過程,高度自動化地分析企業(yè)的數(shù)據(jù),做出歸納性的推理,從中挖掘出潛在的模式,幫助決策者調(diào)整市場策略,減少風(fēng)險,做出正確的決策。針對歸集的大量相關(guān)業(yè)務(wù)數(shù)據(jù),進行清洗、刪除和處理,保證數(shù)據(jù)的有效性和正確性,然后分析物資專業(yè)所關(guān)注各項內(nèi)容(或關(guān)鍵指標(biāo))之間潛在的關(guān)系,找出影響分析結(jié)果的主、次因素,作為數(shù)據(jù)挖掘的基礎(chǔ)。
2 數(shù)據(jù)分析和展現(xiàn)
在大數(shù)據(jù)分析與業(yè)務(wù)協(xié)同的基礎(chǔ)上,利用基本分析引擎驅(qū)動的圖形信息顯示功能,建立管理儀表盤跟蹤、分析、監(jiān)控、預(yù)測關(guān)鍵指標(biāo)和目標(biāo),實現(xiàn)對物資價格預(yù)測、需求和采購分析、質(zhì)量跟蹤、廉政風(fēng)險防控等業(yè)務(wù)決策模型的最終分析運用結(jié)果進行展現(xiàn)。
2.1 重要物資價格變化趨勢
根據(jù)每月產(chǎn)生的采購價格,形成價格的直觀圖表,同時可以關(guān)聯(lián)相關(guān)數(shù)據(jù)預(yù)測未來一段時間內(nèi)的價格走勢;也可以顯示歷史(一年前過兩年前的)變化,作為比較依據(jù)。
2.2 重要物資需求預(yù)測分析
根據(jù)物資大數(shù)據(jù),可以分析預(yù)測出下年度的重要物資的需求數(shù)量,以便根據(jù)市場情況,提前做出采購預(yù)算,保證供應(yīng);分析結(jié)果可以通過報表或柱狀圖展示。
2.3 物資采購綜合分析
根據(jù)物資大數(shù)據(jù),對物資采購的各項指標(biāo)進行綜合分析,包括采購周期、采購方式、物資使用方向、采購金額、供應(yīng)商反饋及問題投訴,從中發(fā)現(xiàn)可能存在的廉政風(fēng)險,強化陽光采購。
2.4 庫存周轉(zhuǎn)與采購周期分析
根據(jù)物資專業(yè)大數(shù)據(jù),對全局的庫存物資的周轉(zhuǎn)天數(shù)(能夠按照物資小類、物資大類等)及相對應(yīng)的采購周期進行分析,查找周轉(zhuǎn)天數(shù)差異,找出問題所在,提高庫存的周轉(zhuǎn)率,杜絕庫存積壓、減少庫存資金占用;分析結(jié)果通過報表或圖形展現(xiàn)。3 技術(shù)方案總體架構(gòu)。整個架構(gòu)分為5層:數(shù)據(jù)源層,處于整個架構(gòu)的最底層,包含物資管理系統(tǒng)及與之關(guān)聯(lián)的全部業(yè)務(wù)數(shù)據(jù):結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化。獲取層:數(shù)據(jù)采集(ETL),負責(zé)對源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載,包括:把原始數(shù)據(jù)加載到Hadoop平臺。數(shù)據(jù)層:包括主數(shù)據(jù)倉庫、分布式數(shù)據(jù)庫及Hadoop云平臺,Hadoop云平臺負責(zé)存儲海量的單據(jù)數(shù)據(jù),提供并行的計算和非結(jié)構(gòu)化數(shù)據(jù)的處理能力,實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力;主數(shù)據(jù)倉庫(與MPP合設(shè))負責(zé)存儲指標(biāo)數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù);分布式數(shù)據(jù)庫(MPP)負責(zé)存儲加工、關(guān)聯(lián)、匯總后的業(yè)務(wù)數(shù)據(jù),并提供分布式計算、支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力,向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。能力層:負責(zé)向上層的應(yīng)用方提供大數(shù)據(jù)平臺能力,同時提供統(tǒng)一的數(shù)據(jù)開放接口,使多方大數(shù)據(jù)應(yīng)用方享用。應(yīng)用層:為用戶提供大數(shù)據(jù)平臺的數(shù)據(jù)分析、查詢、挖掘等功能,實現(xiàn)對物資管理專業(yè)的需求預(yù)測、采購預(yù)期、價格走勢、物資質(zhì)量跟蹤、供應(yīng)商績效考核等綜合分析。
3 安全方案
基于信息安全等級保護二級要求落實安全措施的要求,結(jié)合本系統(tǒng)的具體需求,在系統(tǒng)設(shè)計時,應(yīng)重點考慮應(yīng)用安全、數(shù)據(jù)安全和網(wǎng)絡(luò)安全三個方面。
4.1 應(yīng)用安全
應(yīng)用安全是信息系統(tǒng)整體防御的最后一道防線。在應(yīng)用層面運行著信息系統(tǒng)的基于網(wǎng)絡(luò)的應(yīng)用以及特定業(yè)務(wù)應(yīng)用�；诰W(wǎng)絡(luò)的應(yīng)用是形成其他應(yīng)用的基礎(chǔ),包括消息發(fā)送、web瀏覽等,可以說是基本的應(yīng)用。業(yè)務(wù)應(yīng)用采納基本應(yīng)用的功能以滿足鐵路物資管理信息系統(tǒng)的要求。由于各種基本應(yīng)用最終是為業(yè)務(wù)應(yīng)用服務(wù)的,因此對應(yīng)用系統(tǒng)的安全保護最終就是如何保護系統(tǒng)的各種業(yè)務(wù)應(yīng)用程序安全運行。
4.2 數(shù)據(jù)安全
系統(tǒng)處理的各種數(shù)據(jù)(用戶數(shù)據(jù)、系統(tǒng)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等)在維持系統(tǒng)正常運行上起著至關(guān)重要的作用。一旦數(shù)據(jù)遭到破壞(泄漏、修改、毀壞),都會在不同程度上造成影響,從而危害到系統(tǒng)的正常運行。由于物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)的各個層面(網(wǎng)絡(luò)、主機、應(yīng)用等)都對各類數(shù)據(jù)進行傳輸、存儲和處理等,因此,對數(shù)據(jù)的保護需要物理環(huán)境、網(wǎng)絡(luò)、數(shù)據(jù)庫和操作系統(tǒng)、應(yīng)用程序等提供支持。各個“關(guān)口”把好了,數(shù)據(jù)本身再具有一些防御和修復(fù)手段,必然將對數(shù)據(jù)造成的損害降至最小。另外,數(shù)據(jù)備份也是防止數(shù)據(jù)被破壞后無法恢復(fù)的重要手段,而硬件備份等更是保證系統(tǒng)可用的重要內(nèi)容。
4.3 網(wǎng)絡(luò)安全
網(wǎng)絡(luò)安全為物資應(yīng)用大數(shù)據(jù)管理系統(tǒng)在網(wǎng)絡(luò)環(huán)境的安全運行提供支持。一方面,確保網(wǎng)絡(luò)設(shè)備的安全運行,提供有效的網(wǎng)絡(luò)服務(wù),另一方面,確保在網(wǎng)上傳輸數(shù)據(jù)的保密性、完整性和可用性等。該系統(tǒng)納入鐵路總公司、鐵路局網(wǎng)絡(luò)和信息安全保障體系中。
4.4 關(guān)鍵技術(shù)
大數(shù)據(jù)并非一項新技術(shù),其前身是商務(wù)智能BI,是一系列信息技術(shù)的集合。怎樣將數(shù)據(jù)中的價值挖掘出來,并以直觀、清晰地方式展現(xiàn)在人們面前,是大數(shù)據(jù)解決的基本問題。數(shù)據(jù)展現(xiàn)通過借助表格、圖片等手段,揭示隱藏在數(shù)據(jù)背后的模式與數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系,它以簡單、友好的方式將這種關(guān)系呈現(xiàn)給用戶,可以有效地提升數(shù)據(jù)的使用效率。該系統(tǒng)包括數(shù)據(jù)采集、數(shù)據(jù)管理、計算處理、數(shù)據(jù)分析和數(shù)據(jù)展現(xiàn)5個技術(shù)環(huán)節(jié)。
數(shù)據(jù)存儲是大數(shù)據(jù)時代需要解決的重要問題。目前,鐵路物資系統(tǒng)保存了大量的結(jié)構(gòu)化數(shù)據(jù),然而亟待解決的是海量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的存儲問題。非結(jié)構(gòu)化的數(shù)據(jù)主要采用對象存儲系統(tǒng)或分布式文件系統(tǒng)進行存儲,本文采用Hadoop分布式文件系統(tǒng)。Hadoop基于一種開源的理念實現(xiàn)的分布式文件系統(tǒng);半結(jié)構(gòu)化數(shù)據(jù)可以使用NoSQL數(shù)據(jù)庫HBase中存放;結(jié)構(gòu)化數(shù)據(jù)存放在關(guān)系型數(shù)據(jù)庫Oracle或SQL Server中。HDFS(Hadoop Distributed FileSystem)是Hadoop的核心模塊之一,具有如下特點:
在一個多節(jié)點塊集群存儲文件;在節(jié)點間復(fù)制模塊;主從架構(gòu);沒有文件更新;一次寫,多次讀;大數(shù)據(jù)塊順序讀模式;為批處理設(shè)計。大數(shù)據(jù)時代的數(shù)據(jù)有以下幾個特征:大體量(Volume)、多樣性(Variety)、大價值(Value)、時效性(Velocity)、準(zhǔn)確性(Veracity)的5V特點。常規(guī)的數(shù)據(jù)分析僅僅是對己有數(shù)據(jù)的靜態(tài)分析,并不能進行動態(tài)的預(yù)測,而物資系統(tǒng)要求動態(tài)實時的反應(yīng)生產(chǎn)實際,所以該系統(tǒng)大數(shù)據(jù)分析的難點是動態(tài)化、多維化和深度化。適用于大數(shù)據(jù)的技術(shù),包括大規(guī)模并行處理(Mpp)數(shù)據(jù)庫,數(shù)據(jù)挖掘電網(wǎng),分布式文件系統(tǒng),分布式數(shù)據(jù)庫,云計算平臺,互聯(lián)和可擴展的存儲系統(tǒng)。
4 結(jié)語
5.1 實施策略
大數(shù)據(jù)平臺的建設(shè)工作量大、周期長、涉及部門多,系統(tǒng)的實施應(yīng)遵循統(tǒng)一指揮、統(tǒng)一規(guī)劃的原則,系統(tǒng)實施過程采用分步建設(shè)、試點先行的原則,在明確分工的基礎(chǔ)上,大力協(xié)同,科學(xué)實施,確保各項工作的有序推進。
5.2 項目實施組織
成立物資應(yīng)用大數(shù)據(jù)管理信息系統(tǒng)項目工作組,按照本方案有序推進實施工作。項目工作組負責(zé)總體指導(dǎo)和統(tǒng)籌協(xié)調(diào),解決系統(tǒng)工程建設(shè)中的重大問題,確保按統(tǒng)一規(guī)劃和建設(shè)標(biāo)準(zhǔn)進行實施;協(xié)調(diào)設(shè)計單位、相關(guān)接口系統(tǒng)的設(shè)計開發(fā)單位、業(yè)務(wù)處室和站段直接的分工協(xié)作。
成立專家組負責(zé)業(yè)務(wù)指導(dǎo)和技術(shù)把關(guān),為項目開發(fā)和實施過程中出現(xiàn)的問題提供咨詢支持。成立項目總體組,負責(zé)項目總體設(shè)計、進行任務(wù)分工、把握項目進度、協(xié)調(diào)項目組內(nèi)部工作等,下設(shè)數(shù)據(jù)組、軟件開發(fā)組與實施組、質(zhì)量保證組。
物資應(yīng)用大數(shù)據(jù)管理信息系統(tǒng)的建設(shè)可以有效地提升物資管理水平,可以對市場價格及路局下一階段重要物資的需求有一個相對準(zhǔn)確的預(yù)判,根據(jù)大數(shù)據(jù)的預(yù)測提前部署物資的采購工作,可以保證全局的物資供應(yīng);通過大數(shù)據(jù)平臺的應(yīng)用可以實現(xiàn)物資質(zhì)量跟蹤與供應(yīng)商評價有機結(jié)合;實現(xiàn)對物資庫存數(shù)據(jù)的挖掘和分析,可以降低庫存物資,減少物資積壓,提高對廢舊物資的有效利用,對降低物資消耗有積極作用。
【對于鐵路物資應(yīng)用大數(shù)據(jù)管理解決方案的研究論文】相關(guān)文章：
對于鐵路機車車輛運行故障監(jiān)測診斷技術(shù)的研究與應(yīng)用的分析論文03-15
GPRS技術(shù)在鐵路偏遠給水所的研究和應(yīng)用論文03-16
鐵路運輸節(jié)能技術(shù)的應(yīng)用論文03-17
計算機存儲技術(shù)對GIS數(shù)據(jù)管理的應(yīng)用論文03-08
鐵路施工企業(yè)物資成本控制論文02-23
煤炭企業(yè)物資管理研究的論文11-10
鐵路專用線供電方案研究論文02-14
鐵路項目工程物資管理的相關(guān)問題探討論文03-05
大數(shù)據(jù)制訂鐵路運輸物資的調(diào)運方案論文02-12
- 相關(guān)推薦