为何有人说数据将成为无价之宝?

数据自身是没有价值或者说微乎其微的,价值是被赋予的,就像黄金一样,黄金的价值是他的应用前景或场景。

数据的价值就是数据能力体现出的收益,或者说投资回报率。

今天我们就来聊聊数据能力和价值。 说到大数据就不得不提数据仓库,企业数据仓库演化至最终阶段或许会变为大脑中枢神经,如果要支撑起整个复杂的大脑和神经系统,需要一系列的复杂机制配合。

一、抽象的数据能力架构我把数据能力抽象概括为四个方向:传输能力、计算能力、算法能力和数据资产量级,后面会讲述在这四个能力之上泛化出的数据应用和价值。

1. 数据传输能力

数据大部分的使用场景必然会涉及到数据传输,数据传输性能决定了部分应用场景的实现,数据实时的调用、加工、算法推荐和预测等;而传输抽象出来的支撑体系是底层的数据存储架构(当然非同机房的传输还要考虑到网络环境等。 单纯的小数据量调用等一般不会涉及到这些,但数据量级大、高并发且对SLA要求非常严格的时候,就是对数据传输能力的考验)。

产品的角度我把数据传输能力分解为:底层数据传输效率和应用层数据传输效率。

底层的数据传输效率是指数据源进入后的预处理阶段的传输效率,即加工为产品所需的数据交付物之前阶段。

Ps:数据在可为产品所用之前需要很长的一段加工过程,应用层数据产品基本不涵盖底层数据加工环节,而数据产品会用到规定好的数据交付物(即已约定好的结构化或标准化的数据),而利用此数据交付物再经过产品对实际应用场景的匹配和加工来提供数据服务。 即使涉及底层数据管理的相关产品也是对Meta元数据、使用日志或写好的shell等的调用。

底层数据加工计算所涉及到的传输效率,直接决定了支撑数据产品高性能、高可靠的自身需求;而应用层的传输影响了用户体验和场景实现。 传输机制和体系就像毛细血管一样遍布全身错综复杂,但是流通速率直接决定了大脑供氧是否充足。

2. 数据计算能力

数据计算能力就像造血系统一样,根据多种来源的养分原料进行生产加工最终产出血液。 而源数据通过高性能的底层多存储的分布式技术架构进行ETL(抽取、转换、装载)清洗后产出的是数据中间层通用化的结构化数据交付物。 计算速度就像造血速度一样,决定了供应量。 而计算速度直接决定了数据应用的时效性和应用场景。

目前最多最普遍的就是离线数仓,离线数仓大部分担任着事后诸葛亮的角色,即没办法保证数据的及时性而延后了数据分析及应用的产出,导致更多的是沉淀经验而难以做到实时决策。 而实时数仓,甚至说对Data Lake(数据湖)的实时处理已经逐步开放应用多种场景。 我们先不考虑越来越强烈的实时性要求带来的巨大成本是否真的可以创造等值的收益。

强实时可以更接近一个“未来”的状态,即此时此刻。 这远比算法对未来的预测更有价值,因为把握眼前比构造多变的未来对一个企业更有价值。 甚至说当数据过程快过神经元的传递,那么从获取到你脑电波的那一刻起,数据处理的驱动结果远比神经元传递至驱动四肢要快。

是不是与兵马未动,粮草先行的场景相似?当然这是以数据计算能力的角度来看待这个问题。 跳出来以我个人的观点来说,整体数据能力强大到一定阶段后,会从主观改变个人的意愿,即通过引导你的大脑从而来控制或决定个人行为且不会让你感知,所以可以理解为从主观改变个人意愿。 从人的角度来说,你并不知道或者直观意愿去凭空决定下一步要做什么,因为大脑是逻辑处理器,当然这又涉及到心理学,这些观点就不在此赘述了,等往后另起一个篇幅来说数据应用未来前景和假想。

3. 数据资产能力

都在说“大”数据,那么数据量级越大越好吗?并不是,从某种角度来说大量无价值或者未探索出价值的数据是个负担,巨大的资源损耗还不敢轻易抹灭。

随着数据量级的急剧放大,带来的是数据孤岛:数据的不可知、不可联、不可控、不可取;那么散乱的数据只有转换成资产才可以更好的发挥价值。

什么是数据资产,我觉得可以广泛的定义为可直接使用的交付数据即可划为资产,当然可直接使用的数据有很多种形式,比如meta元数据、特征、指标、标签和ETL的结构化或非结构化数据等。

目前也在拓展Data Lake的使用场景,直接实时的使用和处理Data Lake数据的趋势是一种扩大企业自身数据资产范围和资产使用率的方式。 这有利于突破数仓模型对数据的框架限定,改变数据使用方式会有更大的想象空间。

数据资产的价值可以分两部分来考虑:一部分是数据资产直接变现的价值;另一部分是通过数据资产作为资源加工后提供数据服务的业务价值。

第一部分比较好理解,就是数据集的输出变现值,如标签、样本和训练集等的直接输出按数据量来评估价值;第二部分价值比如通过自身数据训练优化后的算法应用而提升业务收益的价值或依于数据的广告投放的营销变现等,甚至说沉淀出的数据资产管理能力作为知识的无形资产对外服务的价值。 这些间接的数据应用和服务的变现方式也是数据资产价值的体现并可以精细的量化。

4. 数据算法能力

其实无论是传输能力还是计算能力,都是相对偏数据底层的实现,而离业务场景最近的就是算法能力所提供的算法服务,这是最直接应用于业务场景且更容易被用户感知的数据能力,因为对于传输和计算来说用户感知的是速度快慢,从用户视角快是应该的,因此用户并不知道何时何地计算或传输。

而算法对业务应用场景是一个从0到1,从无到有的过程。 并且算法是基于数据传输、计算和资产能力之上泛化出的应用能力,或者换句话说是三个基础能力的封装进化。

而算法能力是把多元的数据集或者说获取到尽可能多的数据转化为一个决策判断结果来应用于业务场景。 算法能力的强弱反映了三个数据能力是否高效配合,是否存在木桶效应,更甚者木桶也没有。 当然单纯的算法也可以单独作为无形资产的知识沉淀来提供服务。

对于数据能力架构中的四大能力,传输、计算和资产是基础能力,而算法是高级的泛化能力。 而能力的输出和应用才能体现数据价值,数据能力的最大化输出考验着整个数据产品架构体系的通用性和灵活性。 因为需要面对的是各种业务演化出的多种多样场景,对数据能力的需求参差不齐:可能是片面化的,也可能是多种能力匹配协调的。 这对产品的通用性就是一个巨大的挑战,想更好的应对这个问题,可能就需要整个数据平台的产品矩阵来支撑和赋能。

二、数据能力对应数据价值的呈现从数据应用的角度,每个能力都可以独立开放也可以组合叠加。 如果把能力具象出来就会衍生到产品形态的问题,产品形态是对能力适配后发挥作用的交付物。 说到产品形态我们可以想象一下应用场景。

首先最基础的应用场景就是数据直接调用,数据资产的使用基本会基于特征、指标、标签或者知识等交付形态。 而对于使用方来说这些数据会作为半成品原料或依据来进行二次加工应用于业务场景中,如数据分析、数据挖掘、算法的训练与验证、知识图谱、个性推荐、精准投放(触达)和风控等。 数据资产可以统归为在数据市场中通过构建的一些OpenAPI进行赋能。

而对于一个工厂来说,仅仅进行原材料的加工(ETL)输出即除了自身原材料(数据资产)的壁垒外核心竞争力很小,需要包装一些上层的基础服务来提升竞争力,那么数据计算的能力融合进来对原材料进行二次加工(聚合统计)。

计算的聚合统计能力加入进来后可以满足大部分的数据分析场景的支持,就不单单是原材料毫无技术含量的输出,并可以以半成品的形态规避数据敏感。 因为对于统计值来说,这是一个分析结果或结论,并不会涉及到自身敏感数据的输出,因此你的核心资产不会泄露,而输出的仅仅是资产的附加值。 换句话说知识产权专利依然在你手中,通过控制专利泛化出的能力进行投资回报。

融入计算能力后的一些分析场景如:人群的画像分析、多维度的交叉分析、业务的策略分析和监控分析等多种场景。

随着时代的发展和业务场景的增多,这时工厂继续需要产业变革,要深耕服务业逐步抛弃制造业形态,全面提升更高级的数据服务。 这时算法能力的加入来更好的完善服务矩阵。

算法通过封装了传输、计算和资产能力而进行统一的更好理解的业务场景目标预测和识别等。 这样对于企业来说可以更容易接受和低成本使用数据服务而不需要再涉及到数据加工链路中,而仅仅需要一个目标结果,通过算法的决策作为参考来指导业务方向。 像算法对一些业务场景的预测分析,甚至说一些人工智能场景的识别或学习思考,都可以通过算法赋能来实现。 对于企业来说就是从无到有的突破,企业发展进程甚至可能提升好几年。

而贯穿以上能力应用场景都是对数据传输能力的考验。

猜你感兴趣
网购被骗怎么办(网购被骗怎么办不能退钱)

网购被骗怎么办(网购被骗怎么办不能退钱)

1、可以起诉网络交易平台2、消费者可以要求商家赔偿经验步骤:1可以起诉网络交易平台。该条款规定了电商平台的信息披露义务,给了消费者维权的新武器,这正是先进制度设计对消费者权益保护作用的良好体现,消费者应充分利用法律,维护好自己的合法权益...

精选综合 2023-05-12
哪些银行信用卡好办额度又高(哪些银行信用卡好批额度高)

哪些银行信用卡好办额度又高(哪些银行信用卡好批额度高)

银行信用卡审核主要看申请人的资信条件,资信条件越好,办信用卡越容易,额度也越高。如果申请人资信条件相同,选择以下银行信用卡好办额度又高:1、工商银行信用卡比较适合与工行有业务往来的人,在工行有资产,那么,办卡容易,且额度高,卡均额度有4...

精选综合 2023-05-12
磁铁衣服扣子对人体有害吗?(磁铁衣服扣子对人体有害吗)

磁铁衣服扣子对人体有害吗?(磁铁衣服扣子对人体有害吗)

磁铁衣服扣子对人体没有害。因为磁铁衣服扣子比较小,对身体是没有影响的。磁铁的成分是铁、钴、镍等原子,其原子的内部结构比较特殊,本身就具有磁矩。磁铁能够产生磁场,具有吸引铁磁性物质如铁、镍、钴等金属的特性。...

精选综合 2023-05-12
吃灵芝孢子粉大便发黑正常吗?

吃灵芝孢子粉大便发黑正常吗?

吃完灵芝孢子粉之后大便发黑在我们的日常生活中非常常见,实际上每个人吃完灵芝孢子粉之后,身上都会出现类似的现象,这正是表示起了效果,对人的身体健康没有其他的不良影响,灵芝孢子粉本身就是黑色的,就像吃了黑芝麻胡之后大便发黑一样,吃了灵芝孢子粉...

精选综合 2023-05-12
月见草的养殖方法和注意事项(月见草的种植方法和注意事项)

月见草的养殖方法和注意事项(月见草的种植方法和注意事项)

1、月见草的养殖方法:月见草喜光,适合栽培在庭院通风敞亮处,也可以养殖在阳台上,每天吸收太阳光照射。生长期间,每个月施1—2次液肥,生长期施肥以氮肥为主,孕蕾期以磷钾肥为主。2、月见草比较耐旱,但不耐涝,土壤表层见干时要及时浇水,每次...

精选综合 2023-05-12
注塑机调气纹的技巧有哪些

注塑机调气纹的技巧有哪些

注塑机调气纹的技巧有以下:1、模具透明法此法是将射胶时间一秒一秒增加,每增加一秒啤一啤,然后将每一啤未走齐的啤件按顺序排列起来,这样就可以很清楚地看到熔胶的充型过程,直到充满型腔为止。2、定位射胶法此法是将后一级的慢速和压力全部调整为零...

精选综合 2023-05-12
充分必要条件的口诀是什么(判断充分必要条件的口诀)

充分必要条件的口诀是什么(判断充分必要条件的口诀)

充分必要条件的口诀是:正推成立是充分,反推成立是必要。若有A推到B,则B为必要条件,即被推导出来的就是必要条件,不需要把两个一次性全部分辨出来。只要记准那个是必要条件就行了,因为另一个肯定就是充分条件。充分必要条件也即充要条件,意思...

精选综合 2023-05-12
为什么一般两年换手机(QQ为什么换手机登录不上去了)

为什么一般两年换手机(QQ为什么换手机登录不上去了)

原因:随着APP的功能越来越多,需要手机拥有更强大的性能才能流畅使用这些软件,因此需要定期更换手机才能获得最佳的使用体验。手机使用技巧:1、华为p30Pro具有抬手亮屏功能,打开华为p30Pro的系统设置页面,点击智能辅助――手势控制―...

精选综合 2023-05-12
肇事者不报警是全责吗?

肇事者不报警是全责吗?

肇事者不报警不一定是全责,交通事故的责任认定是由交警部门根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结论进行的。《道路交通安全法》第七十三条规定,公安机关交通管理部门应当根据交通事故现场勘验、检查、调查情况和有关的检验、鉴定结...

精选综合 2023-05-12
道姑的入观条件是什么

道姑的入观条件是什么

一般按要求需要高中以上文凭,但各地收容不一,需要准备身份证原件,当地派出所出具的无案底证明,自己写的出家自愿申请书及父母同意出家的同意书。一般出家考察期3年,如果合格出家,三年后师父会束发,冠巾等等才算是正规道士,正一本身就是散居道人,...

精选综合 2023-05-12
瑞虎5x电池型号是多少(瑞虎5x手动变速箱型号)

瑞虎5x电池型号是多少(瑞虎5x手动变速箱型号)

奇瑞瑞虎5x的电瓶型号有12V,60Ah(常规型号)和12V,70Ah(蓝驱车型)两种,类型为免维护式。汽车电瓶即为我们常说的蓄电池,瑞虎先前车型上的电瓶品牌有风帆的,也有选用骆驼品牌的电瓶。瑞虎5x的电瓶同大多数车型一样位于发动机舱...

精选综合 2023-05-12
中国银行周日上班吗?(中国银行周日上班吗?)

中国银行周日上班吗?(中国银行周日上班吗?)

中国银行周末上班,营业时间一般为8:00(或9:00)-16:30(或17:30),看各地的政府规定及本地城市的大小,自助银行是24小时营业;个人业务周末是不休息的(除了基金和银证业务以及个人贷款业务外),对公业务周末休息。具体到某一家...

精选综合 2023-05-12
洗衣机能放倒来运输吗?(波轮洗衣机能放倒运输吗)

洗衣机能放倒来运输吗?(波轮洗衣机能放倒运输吗)

1、洗衣机能放倒来运输吗?不能。2、因为这样对于缸筒或者滚筒都有伤害的。由于洗衣机有避震器,等于有软连接,所以,放倒后,缸筒会和外壳接触。对于滚筒来说,虽然有运输固定螺丝,但是内筒配重块非常重,而且一端固定在外壳,一端固定在缸筒外壳...

精选综合 2023-05-12
腊肉长蛆虫了还能吃吗?(腊肉长蛆虫了还能吃吗)

腊肉长蛆虫了还能吃吗?(腊肉长蛆虫了还能吃吗)

腊肉里长蛆虫了是不可以吃的,说明腊肉没有处理好,造成有虫卵遗留在腊肉中。腊肉里面长蛆虫说明里面已经可以适应寄生虫的生长环境,若吃了自然也会把寄生虫吃到肚子内造成寄生虫类疾病。...

精选综合 2023-05-12
黑金信用卡额度一般是多少(黑金信用卡要什么条件)

黑金信用卡额度一般是多少(黑金信用卡要什么条件)

黑金信用卡额度一般在200万到1000万之间。很多人认为,黑金信用卡额度没有上限,其实是误解,黑金信用卡的额度一般都在几百万元,而且可以根据持卡人的需求智能调节,但是黑金信用卡额度只能用于合理消费用途,不能作为企业流动资金。另外,有的...

精选综合 2023-05-12
芋艿发青了还能吃吗?(芋艿发黑了还能吃吗)

芋艿发青了还能吃吗?(芋艿发黑了还能吃吗)

芋艿发青了不要吃,因为芋艿发青的青色部分可能含有毒素,所以不能食用。正常成色的芋艿富含蛋白质、钙、磷、铁、钾、镁、钠、胡萝卜素、烟酸、维生素B1、维生素B2、皂角甙等多种成分。...

精选综合 2023-05-12
关于诚信交友的名言名句(关于诚信的名言名句大全)

关于诚信交友的名言名句(关于诚信的名言名句大全)

言必信,行必果。与朋友交,言而有信。人与人之间最大的信任就是关于进言的信任。学而不思则罔,思而不学则殆。人之相识,贵在相知,人之相知,贵在知心。...

精选综合 2023-05-12
转网不换号怎么办理(异地转网不换号怎么办理)

转网不换号怎么办理(异地转网不换号怎么办理)

1、拿起你的手机通过短信在线查询携转资格(短信编辑CCXZ#用户名#证件号码,发送至归属运营商,移动10086,联通10010,电信10001)。2、用户通过短信申请授权码(短信指令:SQXZ#用户名#证件号码,发送至归属运营商,移动1...

精选综合 2023-05-12
铁棍山药麻嘴能吃吗?(铁棍山药麻嘴能吃吗)

铁棍山药麻嘴能吃吗?(铁棍山药麻嘴能吃吗)

铁棍山药麻嘴是可以吃的,只要把山药表面的皮去掉,然后洗干净就是没问题的。铁棍山药中含少量的植物碱,对人身也是有好处的,但有些过敏体质的人会对这种碱性物质过敏,导致食用后嘴里发麻。...

精选综合 2023-05-12
藏南人民用哪国身份证

藏南人民用哪国身份证

藏南人民以实际控制线为界一边用印度的身份证,一边用中国的身份证。事实上,尽管多年来中印边界从未正式划定,但两国人民在长期和平友好相处过程中,按照双方的行政管辖范围,已经形成了一条为两国人民都尊重的传统习惯线。...

精选综合 2023-05-12