返回主站|会员中心|保存桌面|手机浏览
普通会员

湖南博天市场调研有限公司

入户、街访、座谈会、预约访问、神秘顾客、 OAT 、消费者陪访...

博天公告
湖南博天市场调研有限公司是一家专业提供第三方市场调研执行与研究服务的专用市场研究公司,公司致力于打造湖南的调研执行新规范,成为湖南最规范,全方位、高品质的市场调研团队之一。
新闻分类
  • 暂无分类
联系博天
  • 联系人:黄莉
  • 电话:073188671700
  • 邮件:csbotian@163.com
  • 手机:15580862561
  • 传真:0731-88671703
站内搜索
 
荣誉资质
博天友链
首页 > 新闻中心 > 大数据与哲学的一毛钱关系
新闻中心
大数据与哲学的一毛钱关系
发布时间:2017-06-05        浏览次数:23        返回列表
 




 

大数据也可用来形容人们创造的大量结构化和非结构化数据。

 

1. 大数据实质

 

大数据的实质是什么?虽然目前国内外都还没有统一的定义或认识,但从狭义的字面来理解的话,它应该与小数据相对应,大数据意指数据量特别巨大,超出了我们常规的处理能力,必须引入新的科学工具和技术手段才能够进行处理的数据集合。(所谓的小数据指的是数据规模比较小,用我们的传统工具和方法足以进行处理的数据集合)。比如牛顿时代的各门自然科学,其数据量都不大,第谷观测了20年的天文数据,开普勒很快用手工就处理完毕,并从中发现了开普勒定律。后来,随着科学的发展,数据量有了比较大的增加,为了处理这些当时看来的“大数据”,统计学家创造了抽样方法,由此解决了数据处理难题。现在的大数据却是所谓的海量数据,各种数据的差别又特别巨大,用抽样方法也难于处理,只能用现在的数据挖掘和云计算、云存储等新技术才能解决。从广义来说,大数据指的是一种新的数据世界观,它将世界上的一切事物都看作是由数据构成的,一切皆可“量化”,都可以用编码数据来表示。这就是舍恩伯格所说的:“大数据是人们获得新认知、创造新价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。”

 

2. 大数据的特点

 

大数据的特点被人总结为4个“V”:第一,Volume(大量),即数据数量巨大。从TB级别,跃升到PB级别。第二,Variety(多样),即数据类型繁多。除了标准化的结构化编码数据之外,还包括网络日志、视频、图片、地理位置信息等等非结构化或无结构数据。第三,Value(价值),即商业价值高,但价值密度低。在数据的海洋中不断寻找,才能掏出一些有价值的东西,可谓“沙里淘金”。第四,Velocity(高速),即处理速度快,实时在线。各种数据基本上实时、在线,并能够进行快速的处理、传送和存储,以便全面反映对象的当下状况。

 

3. 大数据的哲学基础:同构关系——大数据的数理哲学基础

大数据可认为是人类的认识和实践,也就是一个数据搜索、处理、挖掘和创造的过程。大数据方法揭示的因果关系是常规性的,数据反映的是具有同构关系的两个序列关系信息,一个对象的运动轨迹,通过另一个序列的载体编码来表述。认识者获得的不是对象本身的绝对映像,而是离开了对象,从对象中抽象出来的、关于对象运动轨迹的数据。从这一角度看,同构关系是大数据的数理哲学基础。反映宇宙中形形色色事物的多样化属性和规律的大数据,这些结构性和非结构性的数据,都统一表现为数字形式,以0和1按逻辑 关系编码,而且具有可逆性。这表明,统一的宇宙中的一切事物之间都存在着具有时空一致性的同构关系。这种关系意味着任何事物的属性和规律,只要通过适当的编码,都可以通过统一的数字信号表达出来;换句话说,一种事物的属性和规律,可以通过数据的媒介,表现在另一种事物运动序列中。(见下图)

 

 

 

对象的结构数据与人的感觉映像的结构数据是一致的,更严格地说,是同构的。

 

4. 大数据研究方法的变革

4.1 大数据与传统模型有很大区别

 

在物质形式的模型中,模型来源属于天然存在物的便是天然模型,模型来源属于人工制造物的便是人工模型。在思维形式的模型中,根据模型不同的特点分为:理想模型、数学模型、理论模型以及半经验半理论模型。理想模型强调的是模型的抽象性,数学模型强调的是模型的数学基础,理论模型强调的是模型的理论基础,而半经验半理论模型强调的是模型的来源,既包含理论成分,又包含经验成分。就它们的区别而言,首先,大数据模型并不具有物质形式,因此并非物质形式的科学模型;其次,大数据模型是根据海量数据以及算法得出,无理论介入,因此也非理论模型;再次,大数据模型从海量的数据出发,通过复杂的计算,最终得出复杂的模型,都是具体的数据运算,并无抽象过程;最后,大数据模型虽涉及算法,但大数据模型与数学模型的得出过程不同,数学模型是通过寻找研究问题与数学结构的对应关系而确定,大数据模型则是通过寻找海量数据与算法的对应关系而确定。显然,大数据的模型方法与这里列出的已有科学模型方法均不相同,是一种新型的模型方法,更多地体现为一种经验模型。
 

 

4.2 大数据模型与统计建模比较,也有本质的不同

数据挖掘作为一个多学科交叉的领域,涉及到数据库、统计学、机器学习等领域;从模型方法的角度来看,其中最为相近的是统计学。尽管数据挖掘涉及一定的统计基础,但数据挖掘与统计建模还是有本质的区别。

 

首先,科学研究中的地位不同。统计建模经常是经验研究和理论研究的配角和检验者,而在大数据的科学研究中,数据模型就是主角,模型承担了科学理论的角色。

 

其次,数据类型不同。统计建模的数据通常是精心设计的实验数据,具有较高的质量;而大数据中则是海量数据,往往类型杂多,质量较低。

 

再次,确立模型的过程不同。统计建模的模型是根据研究问题而确定的,目标变量预先已经确定好;大数据中的模型则是通过海量数据确定的,且部分情况下目标变量并不明确。

 

最后,建模驱动不同。统计建模是验证驱动,强调的是先有设计再通过数据验证设计模型的合理性;而大数据模型是数据驱动,强调的是建模过程以及模型的可更新性。

 

由此可见,尽管大数据与统计建模均是从数据中获取模型,但两者具有很大的区别,大数据带来的是一种新的模型方法,大数据中的模型是数据驱动的经验模型。

 

5. 大数据与哲学联系——数据挖掘的过程就是认识论的过程

近现代科学最重要的特征是寻求事物的因果性。无论是唯理论还是经验论,事实上都在寻找事物之间的因果关系,区别只在寻求因果关系的方式不同。大数据最重要的特征是重视现象间的相关关系,并试图通过变量之间的依随变化找寻它们的相关性,从而不再一开始就把关注点放在内在的因果性上,这是对因果性的真正超越。科学知识从何而来?传统哲学认为要么来源于经验观察,要么来源于所谓的正确理论,大数据则通过数据挖掘“让数据发声”,提出了全新的“科学始于数据”这一知识生产新模式。由此,数据成了科学认识的基础,而云计算等数据挖掘手段将传统的经验归纳法发展为“大数据归纳法”,为科学发现提供了认知新途径。大数据通过海量数据来发现事物之间的相关关系,通过数据挖掘从海量数据中寻找蕴藏其中的数据规律,并利用数据之间的相关关系来解释过去、预测未来,从而用新的数据规律补充传统的因果规律。大数据给传统的科学认识论提出了新问题,也带来了新挑战。一方面,大数据用相关性补充了传统认识论对因果性的偏执,用数据挖掘补充了科学知识的生产手段,用数据规律补充了单一的因果规律,实现了唯理论和经验论的数据化统一,形成了全新的大数据认识论;另一方面,由相关性构成的数据关系能否上升为必然规律,又该如何去检验,仍需要研究者作出进一步思考。

 

大风大浪中,有时也需要清清心,喝杯茶。

分享按钮