嘉信訊通智慧政務之經濟運行平臺解決方案
在大數據時代,數據滲透各個行業,漸漸成為每個機構的戰略重點和核心資產。擁有數據的規模、活性,以及收集、運用數據的能力,將決定一個組織的核心競爭力。掌控數據就可以深入洞察業務問題和規律,從而做出快速而精準的應對策略,智能化決策是政府運營模式的必然轉變。
第一章 項目概述
過去很多單位和機構對自身發展的分析只停留在數據和信息的簡單匯總層面,缺乏對業務、管理、競爭等方面的深入分析。如果決策者只憑主觀與經驗對業務進行評估而制定決策,將導致戰略定位不準,存在很大風險。
隨著數據信息化產業的發展,山東省本市已經積累了海量經濟發展數據,這些分散、獨立存在的海量數據,沒有得到充分利用,因此,為了最終達到強化本市產業發展監測、全面了解各個產業、企業經濟發展動態、科學判斷產業發展態勢、切實解決本市經濟運行過程中的各項難題的目的,通過使用大數據分析挖掘技術,建立本市經濟運行綜合數據平臺,讓大數據更好地為本市經濟運行發展提供服務。
第二章 項目目標
依據需求,結合其實際業務目標,通過引入內外部數據,加強信息融合集聚與利用,并探索省級、市級政府數據融合和分析應用的通用模式,利用數據挖掘技術構建指標體系和模型,通過建立青島市經濟運行綜合分析平臺,更直觀地反映出本市企業的經濟發展和運營情況,協助青島市的有關管理部門發現業務現象背后的作用機制。
宏觀上監控當地經濟運行發展態勢,并預測其產業發展趨勢;微觀上對大中小型企業進行綜合評價,挖掘企業發展潛力,使相關部門和人員能夠及時了解產業、企業的經濟運行情況和重點產業、企業的發展動態,做到對經濟發展園區工作實時掌控,實現園區運營和管理的智能化、科學化,打造智慧園區,為本市的產業發展、科技創新和招商引資提供有效的決策支撐。
第三章 研究內容
3.1 數據資源與數據管理體系構建
大數據時代,數據驅動的科學管理和科技創新將成為趨勢和必然,基于大數據的精準分析挖掘產生的量化指導將成為這一變革的實現支撐,而這一切的基礎是擁有豐富、大量且個性化專屬的數據資源;將多渠道、多來源、多元化的數據打造成“數數相連”標準數據資源,將是一切利用數據的行動的起點。
因此,本項目的第一要務即構建為本市相關科學管理與決策分析研究服務的數據資源中心,并以此為試點,初步形成本市乃至本省政府數據采集、整合和標準統一的標本,為市、省政府宏觀數據庫的形成奠定基本的理論和實踐基礎,成為青島市政府數字化工程的奠基石。
3.1.1 規劃構建青島市數據資源中心
首先對數據資源進行全面梳理,規劃構建最優化的、具有差別化的、面向應用主題的、本市數據資源中心,進而支持實現相應分析目標的數據挖掘、多維數據分析等,主要包含以下五大方面數據資源:
(1)整合以本市企業為維度的統計口徑的數據,主要以一套表系統數據和火炬系統數據為主,建立本市企業(被納入統計的)全景視圖;
(2)整合部分其它國家級本市的相關數據以及火炬計劃年鑒的數據,建立國家級本市數據資源庫,用于橫向比較等分析研究;
(3)整合必要的外部宏觀經濟數據和區域經濟等數據,形成本市經濟分析補充數據資源庫,用于相關的分析應用;
(4)整合省市部分相關部門的企業數據源,如:省(市)統計局、省(市)經信委、省(市)發改委、省科技廳、商務廳和市科技局等處可以協商采集的相關數據,用于綜合分析園區的經濟發展態勢;
(5)基于精準招商需求,整合相關行業的全量企業數據,并在分析后形成招商對象企業數據庫,服務本市精準招商。
上述數據源將通過相關系統接口開發導入、數據格式轉換等方式進行自動、半自動的定期加載,形成動態更新的山東省本市“經濟氣象”數據資源中心。
3.1.2 規劃建立數據管理體系 高質量的數據是數據分析的基礎,為此數據的產生、收集、清洗、存儲、整合需要一套完整的數據管理體系來支撐。數據管理體系按照數據類型可以分為元數據管理和數據質量管理。
(1)元數據管理是數據質量管理的基礎和先行條件。元數據可以簡單理解為數據的標準。確立統一的數據統計口徑標準,構建全面、豐富的數據指標體系。形成一系列面向應用的可更新的綜合分析專題數據庫。通過元數據管理可以很大程度上從源頭杜絕問題數據的產生。
(2)數據質量是數據分析的基礎,為此需要結合具體數據質量問題,制定嚴密的數據質量校核方案。為了保證數據的可靠性和可用性,在使用數據前必須要對每個準備應用的數據項做數據質量評估,并通過數據質量監控,進行問題數據追溯和問題數據處理。 數量質量校核是針對目前園區數據管理中存在的數據質量問題,例如完整性、一致性、準確性、規范性等問題,整合數據倉庫、數據分析、數據挖掘、可視化展現以及工作流等多項信息技術,將結合客戶的業務規則,設計并開發數據質量完整性模型、規范性模型、準確性模型、離群值模型、孤立點探測模型等,實現對業務數據的全面、專業、高效的數據質量校核與監控。
具體實施步驟如下:
①數據質量模型設計可視化:可視化操作,降低業務人員技術門檻;
②數據管理校核任務流程化:采用工作流管理模式,可方便進行模型間的組合形成工作流,同時對該工作流的調度管理按照任務管理模型進行,方便易用;
③問題數據追溯智能化:對于問題數據按照業務歸屬自動推送到相關業務歸口單位,實現智能推送,閉環管理業務流程;
④標準六大業務模塊:數據質量評價模塊、問題追溯模塊、模型管理模塊、可視化展現模型、數據質量分析模塊、任務管理模塊。
3.1.3 數據倉庫設計及實現
(1)數據倉庫規劃及存儲模型搭建
數據倉庫的建設是一個戰略性工程,它將直接影響到數據驅動的全新管理模式的未來發展。能否成功地建立管理信息系統并發揮其作用,關鍵在于數據倉庫的設計和建設的速度及質量。所以在設計開發數據倉庫時應遵循前瞻性、實用性、安全性、可信性和科學易用性等特點。
(2)ETL設計與實現
數據倉庫的數據來源于業務處理系統,但是數據倉庫的數據并不是對源系統數據的簡單疊加,它需要按照數據倉庫的邏輯模型和物理模型,在源系統數據分析的基礎上,按照源系統數據和數據倉庫數據之間的映射關系,經過數據的抽取(Extraction)、轉換 (Transformation)和加載(Loading)等環節方可進入數據倉庫,這個過程簡稱為ETL處理。
ETL是搭建數據倉庫數據平臺的基礎,也是保證數據倉庫的數據質量的具體實現。基于數據倉庫項目開發的經驗,在大多數據倉庫的實施過程當中,ETL都是一個非常復雜、耗時的過程,其工作量約占整個數據倉庫項目的40-50%,占數據倉庫設計階段工作量的70-80%,有許多原因影響這一階段的時間和進度,比如對原有業務系統和舊的操作環境的了解有限,原系統文檔不全等,使得ETL任務在了解舊的業務應用以及如何抽取數據上花費了較多的時間。
ETL實施困難的另一個原因是原有的系統平臺沒有足夠的容量/系統資源來支持數據抽取處理,系統資源不足可能表現為:CPU、磁盤空間、I/O帶寬或沒有一個有效的窗口去運行抽取、轉換程序。
ETL過程不僅工作量大,而且還受到很多時間窗口的限制,它不僅需要在不同的特定(非確定)的時間抽取數據,而且還必須要在特定的時間范圍內把數據加載到數據倉庫。由于ETL過程是數據倉庫應用系統每天都要進行的工作, 所以ETL設計的科學性和效率性是非常重要的,ETL設計的好壞關系到數據倉庫項目的成敗。
3.2 三大業務分析體系構建 針對全國本市對標、經濟運行動態掌握和精準招商三大園區業務訴求,基于上述階段構建的大數據資源中心,通過統計分析和數據挖掘等方法,構建相關模型,用模型的量化結果和分析研究成果等構建相應主題的分析體系,利用分析體系協助本市業務管理部門掌握相關模式和規律,找到工作提升和改進的發力點和突破口,從而進行科學決策指導行動。
3.2.1 本市動態綜合評價分析 基于中國火炬統計年鑒數據、本市火炬計劃項目數據、科技部火炬中心的國家高新技術產業開發區評價指標體系等盡可能多的底數,運用數理模型對比不同本市評價體系的差異性,分析影響山東省本市綜合排名的重要指標,再結合有關專家的經驗,優化該評價模型,最終得到排名測算方法及排名提升量化結果,并固化模型形成一套山東省本市排名預警機制來綜合指導本市排名提升的工作具體內容和量化值,確保本市按照預設目標實現排名位次。
本分析體系的主要分析內容為以下三方面:
(1)本市火炬排名的關鍵指標對標分析 通過對企業對外的利潤總額、出口創匯、科技投入等重要指標進行模型打分與專家打分綜合測算,確定基準與對標值、找出待提升指標并給出量化要求,從而指導工作任務安排,以達成更好的績效。
(2)動態更新排名信息 通過建立系列分析模型,測算出國家級本市排名方法,并據此實時呈現所有與排名有關的指標,同時呈現山東省本市在所有國家級本市中綜合排名現狀及各指標對排名變化的影響程度,從而明確排名影響的大方向及可控度。
(3)年度排名預測
預測下一年度本市排名狀況,并根據下一年度排名預期目標,構建一整套本市排名預警指標體系及相應閥值區,實時預警影響排名的關鍵性指標,并給出提升的量化要求,指導本市有效達成年度排名提升目標。
此外,影響排名發展的相關指標一定程度上反映產業發展現狀及存在問題,并指出改進的方向,以對科技創新方向、招商重點等進行決策指導。 國家本市排名預警機制呈現頁面相關示例圖:
3.2.2 經濟發展運行分析 經濟發展運行分析擬依托大數據相關技術,宏觀上監控整個園區的經濟運行發展態勢,并預測其產業發展趨勢;微觀上對企業進行綜合評價,挖掘企業發展潛力,使領導能夠及時關注重點企業的發展動態,做到對園區工作實時掌控,同時也為企業今后發展提供數據支撐。
(1)園區宏觀經濟運行態勢及發展預測分析 基于園區積累多年的企業數據,根據所屬行業進行產業劃分,形成園區產業劃分的標準體系;將資產、負債、主營業務收入、主營業務成本、工業總產值、利潤總額及應交增值稅等重要指標按產業、行業進行呈現,并運用時間序列等模型對關鍵性指標進行預測,從而宏觀把控園區整體經濟運行態勢。同時依據本市宏觀經濟數據相關指標進行對比分析,了解本市經濟發展的相互影響關系。
(2)企業綜合評價分析 企業的綜合評價是根據與生產規模、經營情況相關的資產、負債、主營業務收入、應交增值稅等關鍵財務指標來衡量企業的在產業中的發展狀況。 “企業綜合評價模型”是結合園區企業數據,運用特征選擇模型確定影響園區經濟發展的重要指標,進而運用主成分分析等模型綜合評價企業,并以此為企業發展提供參考。
(4)園區企業數據分析服務 企業是數據生產者,利用業務數據進行面向決策的分析是未來的必經之路。但是傳統企業缺少專業的數據分析人員,缺乏數據獲取與分析技能,因此很多企業缺乏足夠的能力開展數據分析工作。所以通過園區企業數據分析服務的開放,幫助企業進行經營管理決策,將來源于企業的數據直接為企業服務。
將“企業綜合評價”模塊開放給企業自身,同時將該企業的經濟運行數據也對本企業進行開放和呈現,使企業能夠明了自身在園區產業中的發展變化狀況以及優劣指標程度,為其提供生產經營的決策參考。這一模式,可使企業感受到日常向管委會上報自身數據的回饋服務,嘗到數據提供的“甜頭”,可以有效提高數據上報的效率和質量,同時為日后啟動全面企業級數據采集工作起到積極推動作用。 提供給企業的數據分析服務在分析方法上主要采用比較分析法,用來了解企業經濟活動的成績和問題。 趨勢分析:與本公司歷史比,即不同時期指標相比。橫向比較:與同類公司比,即與行業平均數或競爭對手比較。
3.2.3 精準招商引資分析
招商信息推送服務,精準招商引資分析平臺初步構建。根據山東省本市招商定位、特點以及同類園區情況,按照本市招商部門的需要,經相關分析后從乙方掌握的全國企業數據庫中推送所需要名單,給招商工作切實的信息補充。
第四章 技術實現
為了保證數據及模型結果的有序呈現和使用,把相關聯的業務按分析主題合理組織,即需要進行本市動態綜合評價平臺系列界面設計開發、經濟發展運行分析平臺系列界面設計開發和精準招商引資分析平臺系列界面設計開發。 同時構建園區今后能夠追加模型的環境,需要基于IT技術支撐和保障實現。通過數據庫架構設計搭建、數據倉庫構建及系統平臺設計開發、數據可視化技術嵌入及后臺管理等過程,以達到協助園區綜合管理,促進園區經濟社會可持續發展等決策支持目標。
4.1 平臺架構設計 能滿足用戶多種分析層次的需求,界面友好,易于使用;容易實施,方便部署,易于維護;系統安全性好,可靠性高,具有一定的容錯能力;系統具備良好的彈性、開放性,以適應商業發展的需求;具備的強大而靈活權限控制,用戶管理能夠為用戶分配相應的系統角色,并能夠定義用戶可以在系統中執行哪些操作以及服務。
4.2 三個子平臺的開發實現 需要對本市動態綜合評價分析、經濟發展運行分析和經濟發展運行分析的相關指標按不同的用戶需求進行組織分類,確定指標的擺放順序、分析界面的數量、界面之間的跳轉關系等進行設計。
4.3 特殊功能模塊研發
(1)可視化技術研究和實現:種類繁多的信息源產生的大量數據,遠遠超出了人腦分析解釋這些數據的能力。為避免計算被浪費,需要通過友好的可視化技術對大量數據進行呈現解析。
(2)固定報表:用以實現業務分析報表的自動導出。具體功能:可以實現報表的定期自動更新;可以實現報表的自動批量生成;支持報表的EXCEL導出;支持純瀏覽器的報表生成、下載和打印。
(3)智能報告:智能報告主要通過與業務人員溝通,了解其常用報告形式,據此設計開發固定格式的報告。可以實現根據報告時間、報告主體的自定義選擇,然后單獨或者批量生成一份或多份報告。同時,可以實現報告的定期自動更新;可以實現報告的自動批量生成;支持報告的word、pdf格式導出;支持報告中對異常數據的自定義預警。
4.4 系統安全設計
本項目按照公安部《信息安全等級保護管理辦法》和《信息系統安全等級保護基本要求》,根據山東省本市實際情況和安全要求,進行安全設計并且建立完整的數據備份機制。
4.4.1 系統安全設計原則 由于在網絡環境下,任何用戶對任何資源包括硬件和軟件資源的共享,所以必須通過制定相應的安全策略來防止非法訪問者訪問數據資源,對數據資源的存儲以及傳輸進行安全性保護。在本系統中,參考OSI的七層協議,從網絡級安全、傳輸級安全、系統級安全和應用級安全等幾方面進行考慮,主要遵循下面的設計原則: 標識與確認:任何用戶訪問系統資源,必須得到系統的身份認證以及身份標識,如用戶的數據證書、用戶號碼、密碼。 授權:對系統資源,包括程序、數據文件、數據庫等,根據其特性定義其保護等級;對不同的用戶,規定不同的訪問資源權限,系統將根據用戶權限,授予其不同等級的系統資源的權限。
日志:了保護數據資源的安全,在系統中對所保護的資源進行任何存取操作,都做相應的記錄,形成日志存檔,完成基本的審計功能。 加密:通過整體考慮來保證網絡服務的可用性、網絡信息的保密性和網絡信息的完整性。 系統級安全:系統級安全主要體現在物理設備的安全功能以及系統軟件平臺的安全設置上。
4.4.2 系統軟件平臺的安全管理
(1)數據庫系統的安全管理 數據庫系統是整個系統的核心,是所有業務管理數據以及清算數據等數據存放的中心。數據庫的安全直接關系到整個系統的安全。在本系統中對此考慮如下: 數據庫管理員(SA)的密碼應由專人負責,密碼應該定期變換; 客戶端程序連接數據庫的用戶絕對不能使用數據庫管理員的超級用戶身份;客戶端程序連接數據庫的用戶在數據庫中必須對其進行嚴格的權限管理,控制對數據庫中每個對象的讀寫權限;利用數據庫的審計功能,以對用戶的某些操作進行記錄; 充分使用視圖以及存儲過程,保護基礎數據表;對于不同的應用系統應建立不同的數據庫用戶,分配不同的權限。
(2)系統備份 為保證系統長期、穩定的運行,設計必須考慮系統的備份方案,根據系統的硬件環境,可對代碼備份和數據備份。 數據備份:數據庫的備份和恢復是保護存儲在數據庫中有關關鍵業務數據的重要保護措施。采用本機和異機兩種自動備份方式,備份周期為日備份,本機備份保留近3天的數據,同時在專用的磁盤陣列中保存近30天的備份數據,超過30天的數據系統會自動保留每月1日的備份數據,最長保存時間為3年。當數據庫出現問題(如介質出錯、用戶錯誤或一個服務器的永久丟失)時可將數據恢復到正常狀態。
代碼備份:主要是對本系統代碼以及模型文件進行及時備份,在每次對代碼部分進行更改前手動備份,保證在系統出現問題時能夠快速恢復到任意版本。
第五章工作步驟
5.1 業務調研 業務調研是乙方為充分了解甲方業務需求,而開展的調研活動。業務調研可以熟悉甲方業務,核實甲方業務數據表情況,精準的把握甲方真實的業務需求,建立的模型才能更有價值和意義。
5.2 數據采集 乙方根據甲方業務需求,采集建模所需要的數據,采集的數據要確保全面、完整、真實、可靠。
5.3 數據整合 乙方為保證從甲方采集來的數據規范化及數據挖掘的可用性,需要對采集到的數據進行數據整合,主要包括元數據規范化和搭建數據倉庫架構。 數據整合可以使數據具有科學性、規范性、兼容性、一致性等一系列良好特性,能夠保證數據的規范化和數據挖掘的可用性。
5.4 數據挖掘 數據挖掘步驟是按照CRISP-DM(cross-industry standard process for data mining)的理論基礎進行開展,CRISP-DM即為“跨行業數據挖掘標準流程”,共有六個步驟,即業務理解、數據理解、數據準備、建立模型、模型評估、結果部署。
5.4.1 業務理解 從業務角度理解甲方需求,熟悉甲方的業務邏輯關系,并將這些知識轉化為確定的數據挖掘目標,進而完成目標的初步計劃。
5.4.2 數據理解 從初始的數據收集開始,對從本市采集到的數據進行理解,評價數據質量,了解數據的內部屬性,進而探測影響目標的隱含數據信息。比如,數據是否有缺失值,是否有離群值,是否有錯誤值等。
5.4.3 數據準備 數據準備階段包括從未處理的數據中構造出模型最終所需要的綜合關聯綜合寬表數據,并對選擇數據進行清洗,轉化成可以用來建立模型的標準形式。具體任務包括指標的選擇,以及通過模型工具對數據進行清洗和轉換。比如:數據清洗的過程,包括缺失值填補、離群值處理、錯誤值更換、數據分類等。
5.4.4 建立模型
經過數據準備階段后,以三大業務分析體系的構建為目標,選擇和應用不同的建模技術,構建模型。一般地,有些建模算法對數據有特殊要求,因此需要經常地跳回到數據準備階段,對數據做進一步的預處理。
5.4.5 模型評估
模型建立以后,需要驗證模型的準確性,對模型進行評估及優化,以確保模型的科學合理性。優化后的模型,只是一系列模型流,需要對其解讀成非專業人員可以理解的文字說明,形成標準的解讀說明文檔。
5.4.6 模型部署
模型的構建不是項目的結束,模型的作用是從數據中找到知識,獲得的知識需要便于用戶使用的方式重新組織和展現。根據需求,將模型部署到相應的平臺,實時運行模型,更好地體現模型應有的價值和作用,為本市的管理決策提供有力的數據支撐。
5.5 成果呈現
5.5.1 報告推送 基于對三大業務分析體系的構建,并根據數據的更新頻次,實時推送本市綜合評價報告、行業分類報告、產業發展及產業企業投資活躍度報告。
5.5.2 企業名單推送 通過一系列咨詢與分析定時推送相關領域的龍頭企業名單、有代表性的行業重點企業名單和行業中科技評價領先的企業單位(涵蓋行業龍頭企業、重點企業及中小微企業),這些企業名單(每月20家)均在平臺中自動生成并月度更新,同時滿足用戶根據設定的條件,篩選出符合條件的候選企業名單。
如果您希望進一步了解該項目的詳細信息可以聯系公眾號作者,我們為企業、公司、機構提供經濟運行平臺的需求調研、定制化開發,部署、維護、升級等一系列操作。
青島嘉信訊通信息有限公司是一家專業從事計算機軟件相關業務的高新技術企業。為國內和國外的客戶提供軟件和集成項目的整體解決方案。
主要營業內容:軟件業務、數字安全服務、網絡視頻服務、物聯網平臺運營。
軟件業務:軟件平臺開發、手機APP(安卓、蘋果)、微信、小程序、技術咨詢、產品銷售等。
數字安全服務:電子合同簽署、招投標平臺簽署、網絡數字安全認證服務等。
網絡視頻服務:網絡視頻的整體解決方案、系統集成和弱電施工等。
物聯網平臺運營:智能硬件終端的電壓、電流、溫度、濕度、定位信息的采集和遠程控制,大數據分析。
在國內的合作伙伴主要有聯通、海爾、海信、青島地鐵、興業銀行、北京數字認證、清華同方等上市公司。
在國外的合作伙伴主要有NEC、富士通、軟腦、大手海恩等上市企業。