发布时间:2019-03-27 08:44:40
当物质世界的潜力越来越难以挖掘的时候,通过数据分析提供的指导来优化物质世界运行,有望打开广阔的增长新空间,让一切都可以计算、分析和预测。信息化时代最重要的核心资源就是数据,各行各业对大数据的运用相当广泛。大家都在谈大数据,那么究竟什么是大数据?大数据目前的发展态势是什么?有哪些产业应用呢?
在中国建筑业协会智能建筑分会2019会员代表大会现场,中国信息通信研究院 云计算与大数据研究所副所长 张雪丽从大数据概念与重要意义、大数据发展态势与关键问题,以及中国信通院大数据及相关领域工作三方面进行大数据深度解读。
张雪丽,中国信息通信研究院 云计算与大数据研究所 副所长,大数据与人工智能领域主席,长期从事人工智能、业务与应用、工业互联网、物联网等领域的国际合作、国家专项、软科学研究、标准制修订等工作,其研究成果获得多个部委级奖项,包括一等奖4项,二等奖4项。作为专家支持中欧ICT对话,欧盟地平线2020 EXCITING 项目、第七框架CHOICE、PROBE-IT项目中方负责人。
大数据概念与重要意义
大数据
大数据就是把物理世界通过信息化方式映射到数据世界,让一切都可以计算、分析和预测。反之,通过这样一个数字化过程,也可以对我们的物理世界进行反馈、控制和优化。大数据是4V特征的数据集合,即Volume数据量大、Variety类型复杂、Velocity速度快、Value价值。
近年来,我们国家大数据政策热度持续攀升,2014年大数据首次写入政府工作报告,2016年十三五规划纲要”提出“实施国家大数据战略”,2017年12月中央政治局就实施国家大数据战略进行集体学习,近平总书记提出了五个方面的要求:推动大数据技术产业创新发展、构建以数据为关键要素的数字经济、运用大数据提升国家治理现代化水平、运用大数据促进保障和改善民生、切实保障国家数据安全。
同时,我们国家大数据产业继续高速增长,企业数据总量与结构逐年变化,数据来源愈发多样。根据中国信息通信研究院结合对大数据相关企业的调研测算,2018年我国大数据产业规模为6200亿元人民币,与2017年4700亿的规模相比同比增长31.9%。预计到2020年,全球数据总量将达44ZB,我国非结构化数据占比达到90%,数据增速快、处理速度和实时性要求高,运用非常规工具完成数据处理将产生巨大价值。
大数据产业应用
近年来,我国大数据产业从无到有,全国各地发展大数据积极性较高,行业应用得到快速推广,市场规模增速明显。
政府政务:推动政府公共数据资源开放共享,促进政府治理能力的精细化
健康医疗:建立统一电子健康档案和电子病历数据库
互联网金融:应用大数据的精准分析和预测能力,发掘金融行业数据资源
教育文化:建设共享应用平台系统,完善教育管理公共服务平台,整合优化教
育资源
工业制造:推动“吸包设计”、个性化定制、云制造等新型制造模式的产生和发展
大数据发展态势与关键问题
大数据热点
数据是无形资产已成共识,价值评估成为关键;
相对于传统数据管理,数据资产管理模式升级显现;
数据资产管理工具日趋成熟,服务标准化成为趋势;
大数据技术不断创新,呈现诸多融合趋势
发展态势
从大数据技术本身来讲,也呈现出大分析、大事务、大融合等新的发展趋势。
大数据分析技术:逐步转向分布式快速迭代,软硬结合,逐步与人工智能相融合
大事务处理技术:生产系统/生命线/门槛高,目前正在转向分布式
大数据流通技术:用技术手段缓解数据共享矛盾,以往技术力量被低估
应用路径
大数据与实体经济融合提速,但不均衡现象突出,主要表现在以下几方面。
1. 行业分布不均衡:大数据与金融、政务、电信等行业的融合效果较好,而在其它众多行业的融合效果则有待深化,与实体经济融合领域还在发展初期。
2. 业务类型不均衡:大数据融合应用主要集中在营销分析、客户分析和内部运营管理等外围业务,在产品设计、产品生产、企业供应链管理等核心业务的渗透程度还有待提高,大规模应用尚未展开。
3. 地域分布不均衡:受经济发达程度、人才聚集程度和技术发展水平影响,大数据应用主要分布在北京、上海、广东、浙江等东部发达地区。中西部地区虽然市场需求较大,但发展水平仍较低。
(数据来源:2017大数据产业地图,中国信息通信研究院)
大数据技术不断创新,呈现诸多融合趋势,面临着数据量增长,存储成为瓶颈;非结构化数据处理成为挑战;个人数据保护问题备受关注;数据实时处理需求不断提升等诸多问题。与此同时也相应产生了以下几点技术创新思路:
1. 数据存储硬件不断升级,闪存、PCM等新型存储介质不断发挥作用,其物理特性、读写特性等均与磁盘有着显著的不同;
2. 存储处理一体化框架得到应用,二维堆叠、嵌入式NVM(非易失存储器)等技术在非结构化处理方面取得突破;
3. 匿名化技术、差分隐私技术、同态加密技术以及与安全多方计算、区块链的融合逐渐落地;
4. 批处理与流计算结合,Beam、Spark、Flink等传统批处理软件的流计算功能增强。
数据已经成为最重要的战略资源,随着国家大数据战略推进实施以及配套政策的贯彻落实,大数据产业发展环境将进一步优化,社会经济各领域对大数据服务需求将进一步增强,大数据的新技术、新业态、新模式将不断涌现,产业规模将继续保持高速增长态势。