在全球數字化轉型的浪潮下，數據逐漸成為推動(dòng)經(jīng)濟和社會(huì )發(fā)展的核心資源之一，是重要的生產(chǎn)要素。隨著(zhù)大數據、人工智能和物聯(lián)網(wǎng)等技術(shù)的迅猛發(fā)展，數據產(chǎn)品和服務(wù)的應用范圍不斷擴大，涵蓋了從金融到醫療，從制造業(yè)到零售業(yè)等多個(gè)行業(yè)領(lǐng)域，數據產(chǎn)品質(zhì)量對其在場(chǎng)景中的應用效果影響愈加重要。
2021年發(fā)布的《“十四五”大數據產(chǎn)業(yè)發(fā)展規劃》，強調推動(dòng)數據產(chǎn)品化、加強數據產(chǎn)品質(zhì)量評測體系建設的重要性?！蛾P(guān)于構建數據基礎制度更好發(fā)揮數據要素作用的意見(jiàn)》鼓勵企業(yè)積極參與數據要素市場(chǎng)建設，加強數據質(zhì)量的建設與治理。2024年國家發(fā)展改革委、國家數據局等部門(mén)聯(lián)合印發(fā)了《國家數據標準體系建設指南》，要求建立數據質(zhì)量管理標準，規范數據全生命周期質(zhì)量的管理、管控與評價(jià)，包括數據質(zhì)量評價(jià)指標、評價(jià)方法等標準。
以上政策都強調了提高數據質(zhì)量水平，建立數據產(chǎn)品質(zhì)量評價(jià)標準體系，是促進(jìn)數據要素市場(chǎng)有效流通的重要內容。
現有數據質(zhì)量評價(jià)標準基礎指引
目前，各地發(fā)布了數據質(zhì)量評價(jià)相關(guān)標準，用以規范數據質(zhì)量評價(jià)。其中，國家標準《信息技術(shù)數據質(zhì)量評價(jià)指標》(GB/T 36344-2018)，規定了數據質(zhì)量評價(jià)的相關(guān)指標，包括規范性、完整性、準確性、一致性、時(shí)效性和可訪(fǎng)問(wèn)性等指標。金華市發(fā)布地方標準《公共數據質(zhì)量評價(jià)規范》(DB3307/T 137-2024)，規定了公共數據質(zhì)量評價(jià)的評價(jià)指標體系框架、評價(jià)指標以及評價(jià)程序的要求，適用于公共數據平臺上公共數據的質(zhì)量評價(jià)，主要包括基礎質(zhì)量、使用成熟度、服務(wù)保障、共享成效等維度的質(zhì)量評價(jià)指標體系。浙江省信息產(chǎn)業(yè)質(zhì)量協(xié)會(huì )發(fā)布團體標準《產(chǎn)業(yè)數據倉 數據質(zhì)量評價(jià)規范》(T/ZXCH 0013-2022)，規范了產(chǎn)業(yè)數據質(zhì)量評價(jià)指標框架，包括數據唯一性、數據時(shí)效性等指標，同時(shí)也提出了指標的計算方式等內容。
通過(guò)數據質(zhì)量評價(jià)標準的制定，規范化數據質(zhì)量評價(jià)體系和完善評價(jià)要求，有效促進(jìn)數據質(zhì)量的提升。一方面，有助于促進(jìn)數據要素的高效流通，另一方面，能夠為企業(yè)戰略決策提供可靠依據。這有助于確保企業(yè)在數字化轉型過(guò)程中充分利用高質(zhì)量的數據資源，實(shí)現更加精準、高效的運營(yíng)管理。
數據產(chǎn)品質(zhì)量評價(jià)標準及技術(shù)體系建設難題
盡管當前已經(jīng)發(fā)布了相關(guān)數據質(zhì)量評價(jià)標準，但在建設全面的數據產(chǎn)品質(zhì)量評價(jià)體系方面仍面臨諸多挑戰。
一是缺乏全面、系統化的數據產(chǎn)品質(zhì)量評價(jià)體系，目前的數據產(chǎn)品質(zhì)量評價(jià)大多集中在傳統的數據質(zhì)量維度(如準確性、完整性等)，而忽視了對數據產(chǎn)品的其他關(guān)鍵質(zhì)量屬性的評估，如數據產(chǎn)品生產(chǎn)質(zhì)量、數據產(chǎn)品應用效果等，這導致現有的評價(jià)過(guò)程未能實(shí)現一個(gè)從“數據資源”到“數據產(chǎn)品”演進(jìn)的系統化、多維度的數據產(chǎn)品質(zhì)量評價(jià)框架。
二是自動(dòng)化與智能化水平不足，當前的數據質(zhì)量評估高度依賴(lài)人工操作，尤其是在面對多源異構數據和海量信息時(shí)，這種模式不僅效率低成本高，還容易引入主觀(guān)偏差。隨著(zhù)數據量的增長(cháng)和技術(shù)復雜度的提升，傳統的人工評估方式越來(lái)越難以滿(mǎn)足高效、準確的要求，亟需引入更先進(jìn)的自動(dòng)化工具和智能算法來(lái)輔助或替代人工勞動(dòng)。
三是多場(chǎng)景下的差異化評價(jià)需求，不同數據產(chǎn)品質(zhì)量評價(jià)場(chǎng)景對評價(jià)維度各有側重，這些差異貫穿于數據產(chǎn)品的整個(gè)生命周期。為了確保數據產(chǎn)品在不同環(huán)節中的適用性和可靠性，需要實(shí)現數據產(chǎn)品治理開(kāi)發(fā)運營(yíng)中的質(zhì)量全周期閉環(huán)管理，同時(shí)也要實(shí)現在數據產(chǎn)品進(jìn)行流通交易前的質(zhì)量評估。
數據產(chǎn)品質(zhì)量評價(jià)未來(lái)發(fā)展趨勢與創(chuàng )新方向
促進(jìn)數據產(chǎn)品質(zhì)量評價(jià)標準體系多元化發(fā)展。數據產(chǎn)品的質(zhì)量評估要實(shí)現多維度評估，構建一個(gè)多維度、綜合性的評估框架，不僅應涵蓋傳統的數據質(zhì)量維度，還應擴展至數據產(chǎn)品生產(chǎn)質(zhì)量和數據產(chǎn)品應用質(zhì)量等多個(gè)方面進(jìn)行全面考量。此外，評估不僅要滿(mǎn)足基礎的技術(shù)和質(zhì)量要求，還需結合具體的業(yè)務(wù)需求、數據應用場(chǎng)景定制化設定評價(jià)指標，確保評估結果能夠真實(shí)反映數據產(chǎn)品在特定領(lǐng)域的有效性。最后，針對不同行業(yè)和應用場(chǎng)景的特點(diǎn)，建立靈活且針對性強的評價(jià)指標體系，以適應多樣化的需求和挑戰。
數據產(chǎn)品質(zhì)量評價(jià)智能化與自動(dòng)化。數據質(zhì)量評價(jià)的發(fā)展趨勢正朝著(zhù)智能化與自動(dòng)化的方向邁進(jìn)。利用機器學(xué)習與AI算法，自動(dòng)檢測數據質(zhì)量問(wèn)題并識別潛在風(fēng)險，提升數據質(zhì)量管理效率。建立全面的自動(dòng)化數據質(zhì)量評估平臺，涵蓋元數據采集、數據監控、質(zhì)量評估與數據修復等功能。通過(guò)評估結果實(shí)施數據去重、糾錯和修復等質(zhì)量控制措施，提升數據的質(zhì)量和決策支持能力，推動(dòng)科學(xué)、高效的決策過(guò)程。
推動(dòng)多場(chǎng)景數據產(chǎn)品質(zhì)量評估應用與閉環(huán)管理。實(shí)現數據產(chǎn)品質(zhì)量在多場(chǎng)景下的有效管理，一是數據產(chǎn)品上架和流通交易前，進(jìn)行數據質(zhì)量評估，確保數據可靠性和交易透明度。二是定期開(kāi)展數據質(zhì)量監測，及時(shí)發(fā)現并反饋質(zhì)量問(wèn)題，針對性地進(jìn)行數據治理，確保評估、反饋和優(yōu)化形成閉環(huán)管理。同時(shí)，基于質(zhì)量評估結果，為數據產(chǎn)品定價(jià)提供依據，并增強買(mǎi)家對數據的信任，降低交易風(fēng)險，提高供需匹配效率。
國網(wǎng)浙江“三個(gè)探索”構建電力數據產(chǎn)品質(zhì)量評價(jià)標準及技術(shù)體系
在數字化轉型的浪潮中，浙江省新型重點(diǎn)專(zhuān)業(yè)智庫國網(wǎng)浙江省電力有限公司經(jīng)濟技術(shù)研究院支撐國網(wǎng)浙江省電力有限公司不斷提升數據治理能力，深入推進(jìn)數據主人制，建立涵蓋數據主人認定、數據主人工單管理、數據問(wèn)題管理等多個(gè)數據質(zhì)量管控內容的機制，積極提高數據治理能力，發(fā)揮數據作為生產(chǎn)要素的放大、疊加、倍增作用，助推數字化轉型。同時(shí)，為進(jìn)一步提高數據產(chǎn)品質(zhì)量，積極應對數據質(zhì)量管理的新挑戰，探索構建全面的數據產(chǎn)品質(zhì)量評價(jià)標準體系以及自動(dòng)化的評價(jià)技術(shù)工具。
一是探索構建多維度的電力數據產(chǎn)品質(zhì)量評價(jià)標準體系。浙江省新型重點(diǎn)專(zhuān)業(yè)智庫國網(wǎng)浙江省電力有限公司經(jīng)濟技術(shù)研究院支撐國網(wǎng)浙江省電力有限公司創(chuàng )新構建多維度的質(zhì)量評價(jià)標準體系，不僅包括數據產(chǎn)品數據樣本質(zhì)量，同時(shí)還包括數據產(chǎn)品數據目錄質(zhì)量、數據產(chǎn)品生產(chǎn)質(zhì)量、數據產(chǎn)品應用效果質(zhì)量等多個(gè)維度，涵蓋完整性、時(shí)效性、目錄規范性、目錄完整性、質(zhì)量管理、數據安全、市場(chǎng)應用等多個(gè)評價(jià)指標。
二是探索研究電力數據產(chǎn)品質(zhì)量評價(jià)工具。為實(shí)現更高效的數據產(chǎn)品質(zhì)量評估，研究設計數據產(chǎn)品質(zhì)量評價(jià)工具，實(shí)現對數據產(chǎn)品質(zhì)量的自動(dòng)化評價(jià)管理。包括質(zhì)量標準管理、評測任務(wù)管理、評測結果管理等多個(gè)方面，涵蓋元數據采集、質(zhì)量標準管理、質(zhì)量評測等功能，滿(mǎn)足對數據產(chǎn)品的自動(dòng)化管理與評估。此外，將數據產(chǎn)品質(zhì)量評測得到的問(wèn)題數據進(jìn)行派單整改，實(shí)現對數據產(chǎn)品質(zhì)量的閉環(huán)管理。
三是探索實(shí)現智能化、自動(dòng)化數據質(zhì)量評價(jià)與監測。初步開(kāi)展大數據AI智能推薦數據產(chǎn)品質(zhì)量評價(jià)規則研究，以期實(shí)現對數據產(chǎn)品評價(jià)規則的高效選取。同時(shí)，利用人工智能技術(shù)包括機器學(xué)習、深度學(xué)習等技術(shù)，對評價(jià)規則進(jìn)行自動(dòng)化檢測并協(xié)助評估指標得分。此外，對問(wèn)題數據實(shí)現全面監測與記錄，并進(jìn)行智能整改，以提高數據產(chǎn)品質(zhì)量。(錢(qián)江晚報潮新聞客戶(hù)端 通訊員 袁翔 俞楚天 張一泓 孔俊 李靜 任紅 董海燕供稿單位：浙江省新型重點(diǎn)專(zhuān)業(yè)智庫國網(wǎng)浙江省電力有限公司經(jīng)濟技術(shù)研究院)
評論