分享好友 最新资讯首页 最新资讯分类 切换频道
大数据也有问题:数据量增加远超摩尔定律需要“智能遗忘”
2024-11-20 06:42

据国外媒体报道,在经济领域和人类行为的大量数据采集中,存在着一个违反直觉的弊端,而这会使我们忽略历史的教训。

大数据也有问题:数据量增加远超摩尔定律需要“智能遗忘”

大数据的问题之一是太过于关注当前,而忽略了即使最近的过去。

你或许很熟悉这样一个统计结论:世界90%的数据是过去几年里产生的。事实上,过去三十年中,全世界的数据量大约每两年增加10倍——远远超过了计算机领域的摩尔定律。

这样的信息增长速率会带来一些问题,其中之一便是现时的数据量总是远远超过即使最近的过去。想象你正在通过一本相片簿回顾人生的头18年,假设在两岁时你有两张照片,如果信息增长速率与世界数据量相同,那么在你6到8岁时,你会有惊人的2000张照片;10到12岁时有20万张照片;而在16到18岁时,照片数量会达到2亿张,相当于在最后两年中,每秒有3张以上的照片。

当然,这并非是全球数据增长情况的完美类比。首先,世界大部分数据的增长源于有更多的人创造出了更多的信息来源,同时伴随更大、更精细的格式。不过,有关比例的观点还是成立的。如果你像前述的例子那样回顾以往的记录,或者试图进行分析,那距离越久远的过去就会变得越无关紧要。

这就是目前采集和分析大数据时所面临的问题。当你开始以更长远的视角往前回溯时,会发现近期的事情太多,而以前的事情太少。短视是结构性的,对短期趋势的过度估计是压倒性的,同时却忽略了历史的经验教训。

为了理解这个问题的重要性,需要考虑社会科学中有关“近期偏差”(recency bias,又称近因效应)的研究发现。近期偏差是指在判断趋势时,认为未来事件与近期体验更加类似。这可以说是某种“可利用性法则”(availability heuristic) ——不恰当地以最容易被知觉到的信息来作为思考的基础。这还是一种普遍的心理学特征。举例来说,如果在你居住的地方,过去几年中夏季都异乎寻常地寒冷,你 可能会认为夏天正在变得更冷——或者说你当地的气候正在变冷。事实上,你不应当把任何东西都塞到数据里分析。你需要有一个长远的视角,才能认识真正有意义的气候趋势。在短时期内,你最好不进行任何猜测。不过,我们之中又有谁能真正做到这点呢?

现实生活中大部分复杂的趋势正是如此:股票市场、经济发展、企业的成功或失败、战争或和平、国家关系、帝国的崛起和衰落等等。短期分析不仅不够扎实,而且毫无益处甚至会带来误导。看看2009年金融危机即将到来的时候,还有那么多经济学家信誓旦旦地宣称这一事件不会发生。认为从那种时间尺度的数据就能做出扎实的预测,本身就有很大的问题。

我们还应当记住,在决定哪些数据是保存还是删除的时候,新颖性往往会成为主要的考虑因素。旧的淘汰,新的进来,在这个搜索算法本质上偏向于新鲜事物的数字世界中,这是明显的趋势。从高等法院的裁决,到所有的社交媒体服务平台上,我们到处都可以看到已经失效的网址。对当前的偏好已经渗透到我们身边几乎所有的技 术中,大多数人已经习惯用个四五年就把原本光鲜亮丽的机器抛弃。

我们需要更好地确定哪些数据值得优先保存。

怎么办?这不仅是一个如何更好保存旧数据的问题——尽管这并不是个坏主意,想想我们现在还有什么东西能保留10年的。更重要的是,这个问题关系到确定哪些东西值得优先保存,如何在知识的名义下,确定哪些信息最有意义。

或许我们需要的是“智能遗忘”:让我们的工具变得更会放弃最近的过去,从而在整体视角上保持更大的连续性。这有点像是重新组织一本相片簿,尽管加上了更多的 数学方法。什么时候两百万张照片的价值比两千张照片更低?什么时候较大的样品覆盖的范围反而较小?什么时候细节水平能提供有用的质疑证据,而不是虚假的自信?

许多数据集是无法缩减的,而且在完整的情况下才最宝贵,比如,基因序列、人口统计学数据、地理和物理学的原始观测数据等。科学性越弱,数据规模与数据的质量更可能呈现负相关,此时时间本身就成为更加重要的过滤工具。我们如果不仔细选择过去保存下来的有价值、有意义的东西,那它们就会悄无声息地淹没在如今日益增长的噪音之中。

今天的企业、个人和政府机构都能够获得比以往(甚至就在几年前)大许多数量级的数据,但这些数据并没有获得更多的处理时间。利用越来越高效的工具,董事会成员、首席执行官、政府官员等决策者可以就已有的信息提出更有意义的问题。单纯的堆积不是问题的答案。在一个数据量越来越大的时代,如何选择不知道哪些事情,与选择做什么事情一样重要。

最新文章
均安SEO优化攻略,揭秘全方位网站排名提升秘诀
均安SEO优化策略,全方位提升网站排名秘诀:优化关键词、提高内容质量、加强外链建设、优化网站结构、提升用户体验。通过这些方
北交所科技成长产业跟踪第三期:华为Mate品牌盛典发布鸿蒙AI新品,关注北交所鸿蒙%26星闪相关公司.pdfVIP
源引金融活水润泽中华大地内容目录1.华为Mate品牌盛典如期举行,多款AI终端亮相51.1.Mate70蕴含九大AI功能,MateX6首发星闪关机
一、智能创作平台的全方位解决方案
在数字化时代的浪潮中内容创作已成为企业竞争和塑造的核心环节。传统的内容创作方法往往耗时耗力,且难以保证内容的品质和一致性
【GPT-4】GPT-4 是否已经显示出通用人工智能的迹象?——微软已经为 OpenAI 的 GPT-4 创建了一系列测试,它声称表明人工智能模型已经显示出通用智能的“火花”
目录 GPT-4 是否已经显示出通用人工智能的迹象? Is GPT-4 already showing signs of artificial general intelligence? "We bel
惠普和rog哪个好(6000买惠普还是华硕)
在操作系统选择方面,ROGGU604和HP暗影精灵9/光精灵9均支持流行的Windows和Linux系统,提供灵活的使用环境。 ROGGU604 的快速充
【HM1SUC浏览器下载】小米HM1SUC浏览器17.1.6.1347免费下载
UC专注16年,成就全球第三方手机浏览器全球6亿人上网必备APP,群众的眼睛是雪亮的头条视频小说网盘小游戏,想你之所想一应俱全UC
如何有效获取视频号微信搜索流量(实用技巧,让你的视频号获得更多关注)
视频号微信已经成为了许多人获取流量的何有号获平台、随着社交媒体的效获发展。如何让自己的取视视频号在微信搜索中获得更多的流
【R7(R7t/移动4G)支付宝下载】OPPO R7 R7t/移动4G支付宝10.6.70.8100免费下载
支付宝是蚂蚁集团旗下业务,诞生于2004年,已经成长为的数字支付开放平台和服务业数字化经营开放平台。我们面向消费者、各行各业
SEO神器助力企业网站,高效排名优化,提升在线曝光力
SEO推广软件排名优化,是帮助企业提升网站在线曝光率的有效工具。通过智能算法和策略,该软件助力企业网站在搜索引擎中实现更优
湘潭360seo优化报价_湘潭专业的关键词优化报价保举(湘潭有实力sem优化哪家好)
秒速排为企业提供一站式seo推广办理方案,核心业务包罗百度霸屏企业站群推广百家号运营,企业网站建立,百度推广百度竞价托管360