數字信息時代，數據對經濟建設、社會生活和企業管理等產生了重要影響。根據高德納（Gartner）公司分析，企業近80%的數據為非結構化數據。隨著數據爆炸式增長，非結構化數據將成為數據增長主力。實施非結構化數據治理、提升數據質量、挖掘數據價值是企業邁入數字化時代的關鍵。對電網企業而言，海量智能終端所生成的文檔、圖像、語音、視頻等非結構化數據量已達到PB級。加強非結構化數據治理，實現非結構化數據解析與價值挖掘，對電網企業發展具有重要的意義。
何為非結構化數據及數據治理
非結構化數據是數據結構不規則或不完整，沒有預定義模型的數據。在企業的整體數據架構中，非結構化數據往往是指不適用于數據庫二維關系邏輯表表達的數據，包括所有格式辦公文檔、工程圖紙、圖像和音視頻文件等。在國家電網有限公司數據資產中，非結構化數據包括由地理信息系統、95598客服系統、項目管理系統、電子商務平臺等產生的地理信息數據、客服語音、項目資料、物資采購信息等數據。
數據治理是指在管理數據資產過程中行使權力，包括計劃、監控和實施三個步驟。數據治理聚焦如何制訂有關數據的決策、人員在數據管理方面的行為方式，確保根據數據管理制度和最佳實踐正確地管理數據。
非結構化數據治理統籌和協調非結構化數據各項管理工作有序開展，核心要素體現在組織、制度、文化和考核四個方面，這些是開展非結構化數據管理工作的關鍵。
電網企業非結構化數據治理的前景和挑戰
公司于2019年開展數據中臺建設，2022年數據中臺邁入深化運營階段，非結構化數據通過非結構化組件基本實現了集中存儲，滿足基于文檔全周期的存、取、用需求。電網企業的非結構化數據貫穿于發電、輸電、變電、配電、用電和調度所有環節，也幾乎存在于企業經營管理的所有業務應用當中。隨著人工智能等信息處理技術發展，非結構化數據管理的內涵及外延都在發生深刻變化，有必要重新審視當前企業非結構化數據管理現狀，規劃新時期非結構化數據管理體系及實施路徑。電網企業非結構化數據治理工作主要面臨著以下挑戰：
存在信息孤島。電網企業在日常經營管理和業務管理過程中使用功能各異的應用系統或信息化管理平臺，產生各種非結構化數據。這些非結構化數據具有來源多、格式多、涉及專業多等特點，這一方面是由于信息系統的建設具有階段性，另一方面是由于各個系統自成體系，導致系統之間的數據呈現孤立狀態，數據標準不統一，缺少數據貫通接口。
管控體系不完善。電網企業部分系統之間實現了文件之間的流轉，但是非結構化數據管理方法和制度仍然不夠完善，如部分文件在各個系統內歸檔管理、流轉主要基于數據導出方式，難以進行統一檢索和共享利用。
存在數據黑盒。當前電網企業文檔管理制度并非建立在徹底理清數據的基礎上。非結構化數據缺少必要的分類和元數據項，缺乏清晰和規范的管理流程和要求，數據量和數據內容難以掌握，影響非結構化數據價值發揮。
電網企業非結構化數據治理工作探索與實踐
國網大數據中心遵循公司數據發展戰略，以充分發揮數據作用、驅動企業數字化轉型為目標，按照“基于中臺、統籌推進、統一納管、安全共享”的工作原則，把核心非結構化數據資源匯聚至數據中臺，形成全生命周期和全業務系統端到端非結構化數據治理思路，建立從非結構化元數據體系研究與數據資源目錄構建到非結構化數據協同治理的工作模式，推動中臺非結構化數據質量提高，為業務工作賦能。
非結構化數據的全生命周期管理包括非結構化數據采集、傳輸、存儲、交換等各個環節的數據集整體管理，以及各個數據項處理方法。
基于數據中臺開展非結構化數據統一存儲?；跀祿信_非結構化組件集中存儲和管理所有接入業務應用系統的非結構化數據。將非結構化存儲空間劃分為存儲區和共享區，其中存儲區用于接入、存儲源業務系統非結構化數據，相關數據滿足各專業系統對本系統非結構化數據全生命周期的存、取、用需求。共享區匯聚具有高共享價值的非結構化數據，相關數據經數據盤點、業務部門確認，用于跨專業跨系統數據共享和構建數據服務，并在數據資源目錄可視可查。
建立元數據管理體系。將非結構化數據的元數據分為基礎元數據和增強元數據，梳理形成非結構化數據元數據體系。其中基礎元數據參考國家標準《信息與文獻都柏林核心元數據元素集》（GB/T25100-2010），實現對非結構化數據對象的規范定義，如標題、來源、摘要等。增強元數據依據應用業務需求進行設計，包含源端系統業務元數據、管理元數據及操作元數據。采用統分統管原則，基礎元數據統一管理，增強元數據按需設計，形成一套完整的元數據管理體系。
打造中臺非結構化數據共享區，實現文件流轉與共享。新建應用系統基于數據中臺建設，存量業務應用系統逐步按需將非結構化數據遷移至數據中臺，基于數據中臺非結構化組件，統籌不同應用系統的文件在數據中臺流轉與共享。通過數據中臺構建文件智能分析能力，使各使用方可以快速檢索并在不同應用系統之間傳遞所需文件，保證文件的準確性、一致性、及時性、安全性等，支撐非結構化數據在不同專業之間、端到端有序高效地傳遞和交互。
開展質量管理。依據數據在生命周期各個階段的特性，建立數據質量控制機制，及時發現非結構化數據質量問題，提升數據可用性。數據使用方在使用過程中提出數據質量需求或數據質量問題，協同數據管理方、數據提供方進行數據質量治理，開展非結構化數據治理流程管控，實現非結構化數據治理閉環管理。
建立常態運營機制，建設多元化應用樣板間。完善非結構化數據運營機制，常態開展非結構化數據需求受理、解決方案制訂、數據接入、數據溯源、數據共享等工作。專項推進建設多元化應用樣板間，聚焦制度標準管理體系開展數字化賦能建設，擴大技術資料、標準制度等公開數據接入范圍，滿足基層用戶查數據、用數據需求；圍繞項目中臺智能化提升工作，構建非結構化數據提取功能和專題檢索服務，輔助項目過程材料智能審查，改變現有線下傳遞、低效審閱的局面。
?。ㄗ髡邌挝唬簢译娋W有限公司大數據中心）
評論