小盟科普丨元數據的作用機理是什么？它能解決什么問題？
導語
可信工業數據空間是在現有信息網絡上搭建數據集聚、共享、流通和應用的分布式關鍵數據基礎設施，通過體系化的技術安排確保數據流通協議的確認、履行和維護，解決數據要素提供方、使用方、服務方等主體間的安全與信任問題，進而實現數據驅動的數字化轉型。
★可信數據空間★
系列科普
Q1
元數據是什么？
元數據是對信息資源進行描述、解釋、定位或使信息資源更易于被檢索、利用及管理的結構化信息。元數據也被稱作數據的數據(dataaboutdata)或信息的信息(informationaboutinformation)。元數據管理是對數據的組織、數據域以及其關系信息的管理，貫穿整個數據價值流，覆蓋從數據產生、匯聚、加工到消費的全生命周期。通過元數據管理，可以提升共享、重新獲取數據和理解企業信息資產的水平。
Q2
元數據的作用機理是什么？
元數據管理實現了業務數據中實體和數據字段元素的定義、語義、業務規則和算法以及數據特征，便于完成業務數據的收集、組織和管理。元數據管理技術包括對元數據的采集、元數據的存儲以及元數據的管理，如圖1所示。
圖1 元數據管理技術
元數據采集
在采集數據的時候，面對的大問題就是多種類數據源解析適配，以及數據調度任務的抽象，必須開發對應的工具來實現各種場景的元數據解析，對元數據采集的能力有兩方面要求：
數據解析：適配解析各種數據源特點，文件格式，SQL腳本，抽象任務等，完成標準元數據的轉換沉淀;
類型識別：十分復雜的一個節點，類型在描述數據的時候至關重要，結構化存儲可以直接讀取，文件類結構通常需要類型轉換標識，任務流程會直接統一管理，依次保證數據在不同環境中的合理存儲;
元數據的常見來源如下表：
表1 元數據來源
元數據存儲
包括存儲元數據以及元模型。元數據包含數據庫信息、數據表信息、表的字段信息等元信息，元模型是描述元數據的元數據。這些信息梳理存儲在關系型數據庫中。
元數據通常分為業務、技術和操作三類：
業務元數據：描述業務領域的相關概念、關系和規則的數據，包括業務術語、信息分類、業務指標、業務規則、資產目錄、Owner、數據密集等。
技術元數據：實施人員開發系統時使用的數據，包括模型的表與字段、ETL規則、集成關系等信息。
管理元數據：描述運營管理領域的相關概念，包括人員角色、崗位職責和管理流程、調度評率、訪問日志等。
元數據管理
對收集到的元數據進行管理包含如下3個方面：
元模型管理：即基于元數據平臺構建符合CWM規范的元數據倉庫，實現元模型統一、集中化管理，提供元模型的查詢、增加、修改、刪除、元數據關系管理、權限設置等功能，支持概念模型、邏輯模型、物理模型的采集和管理，讓用戶直觀地了解已有元模型的分類、統計、使用情況、變更追溯，以及每個元模型的生命周期管理。同時，支持應用開發的模型管理。
元數據審核：主要是審核采集到元數據倉庫但還未正式發布到數據資源目錄中的元數據。審核過程中支持對數據進行有效性驗證并修復一些問題，例如缺乏語義描述、缺少字段、類型錯誤、編碼缺失或不可識別的字符編碼等。
元數據維護：對信息對象的基本信息、屬性、被依賴關系、依賴關系、組合關系等元數據的新增、修改、刪除、查詢、發布等操作,支持根據元數據字典創建數據目錄，打印目錄結構，根據目錄發現、查找元數據，查看元數據的內容。元數據維護是最基本的元數據管理功能之一，技術人員和業務人員都會使用這個功能查看元數據的基本信息。
Q3
元數據能解決什么問題
元數據管理作用于數據管理的全生命周期，能夠有效促進數據資產的管理、交換、共享和開發利用，其在工業數據空間中可解決如下問題：
促進工業數據共享，元數據管理通過搭建標準統一的工業領域元數據體系，從業務、技術、操作3個方面，進行分類和定義，賦予數據意義，可幫助使業務人員快速獲取可信數據。
提高工業數據的整合和溯源能力，元數據管理通過對所有的關鍵數據進行系統整合和處理，用戶可以對數據處理流程追本溯源，了解業務處理規則，數據流通情況等。
激活工業數據活性：通過元數據管理，可以實現暗數據的透明化，增強數據活性，幫助解決工業數據資產盤點的問題。
支持工業數據增值變現：元數據管理通過分析表模型可敏捷響應海量增長的數據分析需求，支持工業數據增值和數據變現。
建立工業數據質量稽核體系，元數據管理通過建立篩選、核實、管理、報警、監控的機制，支撐業務管理規則有效落地，保障數據內容的合格、合規。
聯系人：
趙老師 13825233551
AII微信公眾號
AII頭條號