大數據解決方案
作者：中長康達 發布時間： 2019-06-04近年來，我國信息化持續快速發展，為推進電子政務建設發展，實現分布在各政府部門信息資源的有效采集、交換、共享和應用，利用這些有價值的數據通過大數據技術整合分析，產生對領導決策、經濟和社會發展、政策制度制定、職能部門服務和管理等方面起到支撐、預測和指導作用。因此需建立一個政務數據的共享信息庫大數據應用分析系統。
系統組成
共享信息庫大數據應用分析系統的組成，按功能塊劃分可以分為以下幾個部分：
數據接入功能組塊：負責將外部數據導入本系統中。
大數據處理功能組塊：負責將入庫后的數據進行（預）處理，完成數據清洗、挖掘、命名實體識別、關聯分析等工作，為生成標準化數據、索引和二次入庫做準備。
數據結構化和二次入庫功能組塊：負責將前期處理后的數據按照需求進行結構化處理，并將處理后的結果接入指定數據庫中。
索引生成功能組塊：負責將需要做為索引存在的數據建立成索引文件。
應用功能組塊：負責實現可視化、用戶端檢索、監控、日常管理等功能。
系統部署
整體上，此架構采用了主流大數據技術，涵蓋了主體業務需求，具有流程清晰、結構緊湊、便于拓展等特點。平臺為了支撐多項電子政務應用的基礎設施，具有較高的可靠性，能整合多個模塊和多個節點的基礎上，避 免了單點故障。平臺由多臺服務器共同支撐，同時用于復合的業務流程中，保障了對單點故障的管理，實現故障切換，同時采用雙機熱備、群配置、磁盤鏡像等方式，以確保應用系統的高可靠性運行。
系統特點
★ 多種數據源的采集方式，為數據分析提供全方面的數據源。
★ 在系統開發層面，可根據不同數據來源的特點，進行插件開發以滿足系統對數據來源的可定制性。
★ 高性能分析能力，實現可拓展的分析專題。
