大数据时代统计学面临的机遇与挑战
摘要
关键词
统计学;大数据时代;机遇;挑战
正文
统计学是一门研究数据的综合性很强的学科,它研究如何有效地收集、组织和分析随机数据,对所调查的问题做出推断或预测,为采取某些决策和行动提供依据和建议。随着大数据时代的出现,大数据可以全面分析和处理信息,数据分析的过程变得简单、快速,带动了统计学的发展。然而,今天的统计方法已经不适用于大数据,在很多方面存在局限,这需要我们在统计方面进一步发展和创新。因此,本文将从机遇和挑战两个方面阐述大数据给统计学带来的发展。
一、大数据与统计学的关系
(一)大数据是统计研究的主要对象
大数据为统计研究提供了数据平台,推动统计理论、统计思维和统计方法不断完善。正是因为在大数据的时代下,统计学才有了丰富多彩的数据,这促进了统计学的深入发展。大数据时代的出现,意味着观察对象的所有数据都可以用于统计过程,打破了数据采集和处理的限制,再加上恰当的方法,使统计结果更具代表性和可靠性。因此,在大数据的推动下,统计学学科将会得到拓展和延伸。
(二)统计学为大数据提供方法论
大数据需要统计处理后才能具有更强应用价值。数据能告知信息但不能解释信息,即使所有数据都发布出来,仍然很难直观地知道数据代表的内容和信息。统计学主要通过概率论建立数学模型,是有效地收集、组织和分析数据的科学,可以从观测的系统中收集数据,进行定量分析、总结、推理和预测。就分析数据而言,目前所采用的方法,无论是回归分析还是时间序列分析,仍然来自统计学。所以,统计学依然是数据分析的灵魂,是大数据分析的核心。
二、大数据对统计学带来的机遇
(一)统计学研究对象不断延伸
传统的调查方法主要包括电话访谈、问卷调查、统计报告等。这种方法有其弊端,准确性无法保证,统计成本相当大。传统统计方法下,数据收集速度相对较慢,经常存在等待数据收集、研究问题无效、数据收集存在延迟的情况。随着大数据时代的来临,统计学的发展进入了一个新的阶段。数据可以代表越来越多的观测对象,几乎任何信息都可以通过数据显示,使得数据的丰富性逐渐增加。并且,大数据技术在很大程度上提高了数据采集的效率和质量,由于数据的快速更新,数据的质量和容量都得到了极大的提高,大数据的广泛范围可以在很大程度上满足应用原则。同时,降低了数据采集的成本,数据采集过程变得更加简单,节省了工作人员的时间,并且可以消除统计过程和统计结果中的人为错误,从而保证统计数据的准确性。因此,我们需要广泛运用统计数据,进行深入分析,这样才能对社会各个领域的现象进行深入的探索。
(二)统计学科体系不断完善
在统计学的历史上,许多在相关数据处理领域发展起来的新方法都被忽视了。例如,模式识别、神经网络、图形模型、数据可视化等。这些都是在统计科学中发展起来的方法,但在很大程度上被统计学所忽视。而这个方法领域是当今世界的高科技领域,它被统计学所忽视是统计学发展的不足。因此,统计学既然可以在数据挖掘科学中发挥作用,就应该与数据挖掘合作,而不是把它留给计算机科学家。当今大数据时代,必须将统计学与计算机紧密结合起来,以数据挖掘为契机,拓展和完善统计学科体系,培养具有现代统计技术、计算机技术和数据挖掘技术的复合型人才。同时,统计学不仅要注重与其他学科的结合,还要在统计原理、统计技术和统计方法等领域寻求创新和突破。大数据时代要求我们以发展的眼光、辩证的眼光看待统计学的发展,统计学必须在大数据的思想框架下构建新的学科体系。对于统计学家而言,将大数据整体统计理念和方法纳入课程体系非常重要,统计学教学内容也必须从传统的样本统计转向样本统计与整体统计相结合。
(三)统计学就业需求不断提升
大数据在增加统计学专业的就业机会方面发挥了相当大的作用。由于大数据的出现,统计学的定义、思维方式、作用都与传统统计学有所不同。当今社会,大数据就像一座巨大的金矿,吸引着无数政府、企业和个人寻找黄金,但从复杂海量的数据中提取有价值的信息并不是一件容易的事,需要数据分析和统计的知识。处理数据,这是统计学家和数据分析师的专长。在大数据时代,统计学家和数据分析师通过对数据的合理利用,可以在一定程度上发挥行业专家的作用,他们的作用延伸到各个领域,为各个行业提供有价值的建议。由于统计学家和数据分析师可以从大数据中提取大量信息并将其转化为价值,他们的作用将受到广泛尊重,地位将大幅提升。
(四)统计学应用范围不断扩大
大数据的发展使得复杂数据的分析计算变得简单、快速,成为统计计算的重要工具。随着个人电脑和手机的普及,数据的质量和数量猛增。这当然会极大丰富统计发展的内涵,赋予统计更大的作用。传统的统计方法是根据问题的需要查找数据,然后通过处理得到结果。然而,在大数据背景下,我们不仅可以局限于以问题为导向的研究,还可以基于数据来分析其背后的问题。这种思维转变为大数据时代统计学的发展带来了新的机遇。
三、大数据对统计学的挑战
(一)样本选取越来越困难
样本与整体之间部分与整体的相关性会降低,导致样本即整体的倾向发生变化,进而引起大样本标准的变化。传统统计学是根据实际观察或调查部分样本统计数据,对客观事物进行数学分析,从而推断总体特征。样本的选取和标准的制定是统计的前提。大数据时代,样本选取、标准界定更加困难。一方面,在大数据时代,样本量非常大,统计数据没有非结构化的数据构造,这增加了收集和处理的复杂性。另一方面,随着样本数量的不断增加,从网络环境中采集的数据大部分是非结构化数据,面对大量数据,难以挖掘大数据和大样本数据中的潜在信息。
(二)统计方法有待完善
传统数据是具有固定结构和标准的结构化数据。数据量化已经相当成熟。可以使用常规统计指标或图表所代表的定量数据,也可以使用专门设计的定性数据。统计模型进一步简化了统计。实际操作中,比较容易得到可以直接分析的数据结果。大数据增加了数据的包容性,不仅包括结构化数据,还包括非结构化数据、半结构化数据或异构数据,即所有可以记录和存储的信号都可以与数据一起记录。数据量很大,获取方式也有很多种,但如何过滤大量数据,如何得到最合理的数据,如何创建有效的统计模型,都是统计学家需要处理的问题和。此外,现阶段还缺乏传统的统计方法和统计软件。比较成熟的统计软件如Eviews、SPSS、SAS、Stata等。操作简单,短时间内即可见效。而且输出数据还需要完善,实现这种软件升级难度较大。目前还无法实现高速大数据传输和存储的功能,软件功能还需要一定的开发和完善。
(三)统计人才亟待培养
队伍的统计人才和科研成果还比较薄弱。目前统计学专业基本关注结构化数据,而很少涉及非结构化、半结构化数据的分析和工具的使用。但根据大数据时代对数据处理素养和高端人才技术的需求,目前的统计内容已不能满足相关需求。尤其是西部地区的高校,师资队伍的培养与统计部门人员的关系十分薄弱,科研成果还匮乏,几个科研团队的建立还很薄弱。仍在准备中。大数据时代对统计人才提出了更高的要求,他们必须具备数学、经济学、统计学的理论基础,以及利用大数据技术收集数据的方法和技术,更重要的是必须有发现问题、解决问题的能力。也就是说,大数据背景下的统计建设需要培养具有扎实理论基础的人才和能够灵活运用统计的人才。
四、大数据时代统计学的创新
统计学是教学阶段的核心课程之一,促进了相关学科的发展,也广泛应用于人口普查、环境评估、政府决策等工作中。因此,统计学无论在教学还是在现实生活中都非常重要。目前,统计学教学还处于起步阶段,问题较为明显。随着大数据时代的出现,传统统计学的变革体现在从样本的定义到数据分析思维和技术上。可见,数据研发与人们的生活、工作密切相关,这让我们在利用数据方面拥有更大的主动权,也必将带动传统统计的快速发展。在大数据背景下,统计人员无需畏惧困难,抓住机遇,直面挑战,不断努力推动统计发展。
参考文献:
[1]张璧麟. 浅谈大数据时代统计学面临的机遇与挑战[J]. 现代营销(经营版),2021,(12):106-108.
[2]孙越. 大数据时代统计学面临的挑战与变革[J]. 今日财富(中国知识产权),2021,(07):17-18.
[3]阿尔孜古丽·艾合买提. 大数据时代统计学面临的机遇与挑战[J]. 吉林广播电视大学学报,2019,(02):132-133.
[4]李宾,周俊. 大数据时代经管类统计学面临的挑战与变革[J]. 教育教学论坛,2019,(06):245.
[5]毛江伟. 大数据时代统计学的机遇及挑战[J]. 黑河学院学报,2017,8(10):56-57.
[6]符一平. 浅谈统计学在大数据时代面临的机遇、挑战及其发展趋势[J]. 中国管理信息化,2016,19(14):245-246.
...