大数据通俗来说是什么

相信大家对于这次新冠肺炎疫情期间社区防控力度之严、强度之大深有体会。但在杭州滨江区,在疫情爆发之初,却面临着社区疫情防控人手不足的问题。对此,国家电网杭州分公司研发了全国首个“电力大数据+社区网格化”算法,实现了收集、研判电力数据功能,并对滨江157476户居民、超过1000万条电力数据,进行了收集和分析。为了精准判断细微的用电数据差别,该公司在算法中开发了居民短暂和长期外出、举家返回、隔离人员异动等3个场景6套算法模型。通过3轮150余万条次电力大数据巡航,精准判断出区域内人员日流动量和分布,还可以实时监测居家隔离人员、独居老人等特殊群体347户。这让社区人员得以根据电量波动判断业主状况,提高了登记和服务的效率,从而解决了人手不足的难题。

听完这个例子,不知道你有没有什么感触呢?看似“高大上”的大数据,实际上就是这么的“接地气”。今天呢,我主要是想纠正一些大家对于大数据的误解,对大数据有一个更清晰且正确的认识。

大数据通俗来说是什么图1

二、大数据是什么?

其中,第三范式和第四范式都是由计算机来进行计算的,二者之间有什么区别呢?

引用维克托·迈尔·舍恩伯格撰写的《大数据时代》中的话来说,就是:大数据时代最大的转变,就是放弃对因果关系的渴求,取而代之关注相关关系。第四范式相对于第三范式来说,更关注“是什么”,而不需要知道“为什么”,就像人类总是会思考事物之间的因果联系,电脑却更擅长相关性分析。这也是为什么有人提出第三范式是“人脑+电脑”,人脑是主角,而第四范式是“电脑+人脑”,电脑是主角。

也许会有同学提出疑问,这是不是与我们科学研究的理念相违背?毕竟,如果通篇只有对数据相关性的分析,而缺乏具体的因果解读,这样的文章一般被认为是数据堆砌,是不可能发表的。

这里我又想给大家举一个例子了,让大家更好的理解第四范式的意义所在。拿我们近年来特别关心的雾霾来说,我们想要研究雾霾的产生机制,从而进行针对性的预防。

按照第三范式的思路,我们需要先在一些具有“代表性”的地方建立气象站,收集与雾霾形成有关的参数,包括大气化学成分、地形、风向、温度、湿度等气象因素。需要注意的是,第三范式下,我们所收集的参数都是我们认为可能会影响到雾霾形成的因素,实际上已经人为地排除了某些不重要的参数。从研究的可行性角度出发无可厚非,但是从准确性上来说,已经是根源性的错误了。如果能够获取更全面的数据,即不加筛选地收集各类参数数据,进行更细致的数据分析,那么就能得出更科学的预测,这就是第四范式的出发点。

大数据通俗来说是什么图2

相信通过上面的解说,大家对大数据有了一个基本的认识,下面呢我来对大数据做一个简单的定义:大数据(big data),指的是在一定时间范围内不能以常规软件工具处理(存储和计算)的大而复杂的数据集。这些大数据集包括结构化、非结构化和半结构化数据,需要经过进一步的数据处理和分析才能形成有价值的信息。

大数据通俗来说是什么图3

第一、数据体量巨大

这点相不难理解,我们日常生活中使用的微信、支付宝、微博、抖音等软件每天都会产生数百亿条以上的数据,这仅仅是移动应用一天的数据量,此外其他各行各业也都会产生各式各样的数据,其总量绝对超出了你们的想象。举个具体的例子,据英特尔预测,全球数据总量在2020年将达到44ZB,而中国产生的数据量将为8000EB,8000EB是什么概念?整个地球上所有沙粒总数的10倍!

第二、数据类型繁多

正如我刚才所提到的,大数据包括结构化数据、半结构化数据和非结构化数据。结构化数据指数据的属性相同,可以用统一的结构进行表示;非结构化数据缺少固定的结构,通常整体存储,比如各种图片、视频、音频等,非结构化数据越来越成为数据的主要形式,据IDC数据显示,企业中80%的数据都是非结构化数据;而半结构化数据则介于两者之间,比如HTML和XML文档,其内部用成对的标签记录对应的数据,但每个文档内部的标签又不是统一的,没有固定的规律。

第三、价值密度低

大数据的价值很高,但是单条记录却基本无意义,缺乏有效信息,这也对我们收集数据提出了要求,数据分析一定要建立在大量的数据集的基础上。举个例子,张三是某电商平台的忠实用户,我们作为后台,如果单看他的某一条购物记录,无非是知道了他买了什么东西,消费了多少钱,但是我们一旦利用大数据分析系统对张三所有的购物记录进行分析,那么我们就能得出他的一个消费画像,了解其购买偏好,从而对他进行精准的商品推荐。

第四、处理速度快

如今5G时代,数据产生的速度越来越快,这就要求数据后台能够快速处理掉无用信息,因为需要控制存储成本。同时更快速地处理信息,能够获取更多的有效价值,才能够在商业竞争中取得优势。两方面因素都刺激着数据处理技术的高速发展,目前采取流式数据处理技术可以达到毫秒级甚至微秒级的处理时间,满足实时监控分析用户行为,从而提供个性化服务的需求。

三、结语

最后,引马云的一句话作为结尾:未来的时代将不是IT时代,而是DT的时代。这里的DT就是data technology, 希望各位对大数据有了一个新的认识,也希望大家能够在这个万物互联的时代,把握时代机遇,掌握信息技能,做一朵勇往直前的“后浪”。

大数据,简单来讲就是数据量大!

不过大有大的难处,由于数据量的暴增,导致之前的数据处理工具无法处理如此海量的数据,衍生出大数据技术,就是现在的hadoop和他的一系列周边技术。。

技术进步之后,随着数据处理能力的增强,人工智能也随之突飞猛进,人工智能的特点就是需要大量的数据去喂养,这也是现在为什么人们,更多的是提人工智能,越来越少的谈及大数据,因为大数据已经成为了基础,就像空气和水,非常重要,重要到没有必要去讨论。(当然现在空气污染导致大家对空气的讨论也多了起来,这是后话了)

人工智能需要海量的数据喂养,导致人们又开始拼命的想要获取数据,这个其实是商家层面,消费者来讲只能说是数据的贡献者!

所以,大数据只是商家的大数据,消费者需要商家提供更个性化的服务,就需要给商家提供更多的个人隐私,想要保护隐私,就没有琳琅满目的个性化,,对于消费者来讲,这是一个无法回避的循环!

原创文章,作者:普尔小编,如若转载,请注明出处:http://www.puerpx.cn/pxwd/1694.html

(0)
上一篇 2022-05-14 下午12:46
下一篇 2022-05-14 下午1:19

相关推荐

  • 日语那个机构比较好,蔚蓝日语培训班怎么样?

    蔚蓝日语培训班怎么样 蔚蓝日语培训班师资力量雄厚,老师认真负责,是一家很好的教育培训机构。 蔚蓝日语教育的学员中就有很多在蔚蓝日语培训班学完高考日语后,进入大学继续读日语专业,之后…

    2022-04-10
  • 上海少儿英语,上海孩子怎么学英语

    选择英语培训班,最重要的就是学习效果要好,如何通过最快最省钱的方法达到自己的学习目标,是所有学生和家长最关心的问题。现在不少英语培训机构价格昂贵,效果也是良莠不齐,大家应该从价格、…

    2022-05-20
  • 转行学摄影怎么样

    可能大家对于摄影有误解了: 1,觉得搞摄影的,可以到处满世界跑,不花钱旅游的了。 2,觉得搞摄影的,可以经常拍美女,说不定还经常换漂亮的女朋友。 其实这些确实是一个很大的误会的了,…

    培训问答 2022-09-24
  • 杭州哪家餐厅好吃

    杭州餐厅大攻略~~你想要的都有噢! 经典杭帮菜 杭州酒家(图一) 地址:延安路205号 推荐菜品 果木泥烤肉:香嫩的鸡肉带着果木烤出清香,外面还淋了一层甜甜的酱汁 闷骚南瓜:浓郁的…

    2022-05-19
  • 郎咸平 博客,如何评价郎咸平 知乎

    近几年郎教授的职业生涯比较狼狈。钱可能他没少赚,声名却不佳。他被普遍指责为是搞阴谋论的学者,擅长煽动民粹情绪,为赚钱不惜迎合民意,没有学界该有的持重和担当。因此,近几年郎咸平只在媒…

    培训问答 2022-11-12
  • 学化妆去哪里学比较好,在郑州学化妆去哪里比较好

    现在很多人对化妆行业不了解,而找学校都不是怕花钱,而是怕花了钱却学不到什么东西,因此,大家都是想知道,专业的化妆培训学校应该是去哪里学好些,这里北京京彩化妆学校就来和大家一起分析下…

    培训问答 2022-09-29
  • 考研培训,考研一定要报培训班吗

    现在国内的考研辅导班真的是太多了,有非常大的机构也有比较小的机构,总之他们有一个特点,那就是“暴利”,请一个老师为几百甚至几千的学生上课,其实要说和高中比起来真的是相差太远啊。那考…

    2022-05-07
  • 杭州会计职称培训,我想考会计证,杭州哪里培训比较好?

    我想考会计证,杭州哪里培训比较好 杭州上城区有个众兴财教育的,在会计培训方面非常专业, 有高端课程,比如财务总监班、高级会计师培训、注册会计师培训、领军人才培训等等,与上海国家会计…

    2022-04-10
  • 学什么技术:学技术学什么好呢

    现代社会男性的压力越来越大,对于一个女性来说,成年以后只须呆在家相夫教子即可安然度日,而作为男性却需要一直在外面打拼,养家糊口,承担起一个家庭的生计。因此要想在这个竞争日益激烈的社…

    2022-04-14
  • 大专生考成人高考考哪些内容

    成人高考,就是国家给在职人员提供的一个提升自己学历的通道,由国家教育部统一组织,各个省在统一时间考试,称做成人高考。属于国家承认学历,学信网可以查询,下面给大家详细说说这个考试。 …

    2022-11-22

发表回复

登录后才能评论