一、引言

随着大数据时代的到来，数据呈爆炸式增长，数据规模不断变大。为了从大量的数据中挖掘有价值的信息，产生了处理多种大数据问题的大数据技术，而与大数据相关的技术人才也得到了企业的重视。但是，目前，大数据人才缺口仍然较大。为了培养大数据人才，国家出台了一系列措施，而高校培养大数据人才的责任重大。大数据具有数据量大、数据类型繁多、数据产生速度较快等特点，使得对数据分析产生了新要求。高校在培养大数据人才时，不能再使用传统教学模式，需要更新教学方法、教学手段、设立科学的教学目标，才能够培养出满足社会需求的大数据人才。

大数据分析技术作为大数据专业的专业课程受到了各个高校的重视，而在新工科背景下，大数据分析技术具有不同的要求与特点。

二、大数据分析技术课程教学现状

大数据分析技术课程已开设三届，根据教师和学生反馈，该课程存在以下问题。

第一，教学内容枯燥。大数据分析技术理论知识点琐碎，学生不能很好地理解，由于教学内容和工程应用结合不紧密，使得学生对大数据分析技术的学习兴趣不高。

第二，教学模式不科学。学生通过教师讲授学习知识，获取的知识都是被动接受状态，缺少自主探索、自主学习、自我发现和解决问题。网络发展迅速，学生可以通过网络获取知识的渠道变多，如何构建大数据知识体系，需要教师的引导。

第三，教学过程理论与实践脱节。传统教学过程主要以教师讲授为主，这种教学方式已无法满足学生的需求，使得理论与实践联系不紧密，学生很难掌握知识，学习也很枯燥。

第四，考核方式单一。传统教学考核采用期末考试为主，这种方式无法真实反映学生的学习情况。大数据分析技术课程涉及的知识面广，卷面考核以理论知识为主具有一定的局限性，这种考核方式无法反映出学生解决实际问题的能力，无法拓展学生的创新思维。此外，采用卷面考试时，学生会将主要精力放在考试前夕，而忽略平时的学习，学生无法从课程中学到全面的、系统的大数据知识。

三、大数据分析技术课程大纲

大数据分析技术课程是一门理论与实践相结合的课程，旨在让学生了解处理海量数据的技术、方法，从而具备深入学习大数据知识的能力。本课程的教学内容偏专业化，目标是让学生全面了解大数据知识体系，以激发学生学习兴趣，并为学生深入大数据原理奠定基础。

针对大数据分析技术课程存在的问题，教学大纲进行了修订，具体内容主要有：

第一，知识方面。在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。通过本课程的学习学生能够了解大数据基本概念，掌握常用的大数据技术体系，并能够根据已学习的大数据分析技术解决生活中的问题。

第二，能力方面。使学生加深对大数据分析技术理论知识与操作技能的理解和掌握，并能在数据分析、挖掘过程中采用新方案、新意识、新思路。针对特定的大数据分析问题，能够利用大数据分析技术设计开发方案并能够构建实验系统。掌握大数据分析技术中涉及到的工具，能够解决复杂数据处理问题并给出合理化方案，同时能够实践。

第三，素质方面。通过本课程的学习，使得学生能够全面了解大数据相关知识，逐渐形成采用数据分析思维解决实际问题的意识；能够通过网络学习大数据生态系统中各种框架的安装与测试，形成理论与实践相结合的学习模式；通过课外学习和探索，从网络上学习大数据综合案例项目，以提升自主学习能力，并养成终身学习的习惯。

由此可见，大数据分析技术与新工科突出的能力与新技术相适应，能够满足新工科背景下高校对人才的培养要求。

四、课程定位

考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，大数据分析技术是分析和处理大数据的手段和方法，当今大数据作为信息的重要载体在信息化社会扮演着重要的角色。本课程通过研究有关信息获取、信息传输、信息处理与信息控制等核心基础，使学生掌握运用现代计算机工具高效解决科学与工程问题的理论与方法。本课程主要讲解大数据概述、HDFS使用操作、MapReduce开发、HBase数据库的开发、大数据案例分析等几方面的内容。通过本课程的学习能够让学生了解大数据系统架构，掌握大数据技术学习方法，并具备大数据分析能力。

五、课程目标

教育要以学生为中心，遵循持续改进，为了培养出满足社会需求的大数据人才，设定的培养目标应该使学生毕业后能够具备大数据分析师具备的数据分析能力。

大数据分析技术课程旨在为学生奠定大数据分析技术的知识体系，具备大数据分析技术的理论知识和技术基础，主要包括大数据基础、数据采集、数据分析、数据管理等知识，以培养学生大数据获取、大数据分析及解决实际生活问题的能力。本课程的课程目标与毕业要求指标点的支撑关系如表1所示。

表1 课程目标与毕业要求的对应关系

六、教学内容

依据大数据分析技术课程教学目标，本课程的教学内容结构体系如图1所示。

图1 大数据分析技术课程内容总体结构

大数据分析技术课程首先讲解大数据基础，主要介绍大数据时代的技术支撑和数据产生方式的变化、大数据的特征、大数据的发展历史、大数据的计算模式、大数据的影响、大数据产业、大数据与云计算和物联网的关系。通过这些内容的学习让学生能够了解大数据的基本概念，能够了解大数据的系统结构，掌握大数据常见的计算模式，了解大数据系统的整体逻辑架构设计及运行逻辑。

第二章主要讲解大数据框架Hadoop，主要内容有Hadoop的基本概述、Hadoop的发展历史、Hadoop不同版本的区别、Hadoop生态系统中常用组件、Hadoop的核心组件。通过本章的学习能够让学生深入了解Hadoop框架，并理解其运行原理。

第三章主要讲解HDFS，主要介绍计算机集群结构、HDFS发展历程、HDFS的设计目标、HDFS的命名空间管理、HDFS体系结构的局限性、数据存储策略、数据错误与恢复、JAVA API操作HDFS的常用类、常用的操作HDFS的Shell命令。通过本章的学习能够让学生掌握HDFS的基本概念，并利用Shell命令和JAVA API操作HDFS。

第四章主要讲解MapReduce，主要介绍MapReduce的设计思想、基本概念、系统架构、运行机制、工作原理、编程模型、常见编程组件的使用、性能优化策略、程序开发流程。通过本章的学习能够让学生了解MapReduce的工作原理，并通过词频统计等实验完成MapReduce程序的开发以加深学生对MapReduce的理解。

第五章主要讲解系统架构再探讨，主要介绍Hadoop的新特性HDFS 高可用性和HDFS联邦机制、纯粹的资源管理框架YARN、YARN的工作流程、YARN的发展目标、Hadoop生态系统中具有代表性的组件作用与应用场景。通过本章的学习能够让学生了解第一代Hadoop存在的不足，以及第二代Hadoop的改进。

第六章主要讲解HBase，主要介绍HBase的基本概念、HBase的设计目标、HBase与传统数据库的区别、HBase的架构、常用的HBase Shell命令、操作HBase的常用JAVA API类。通过本章的学习能够让学生了解HBase的工作原理，以及通过实验能够让学生掌握HBase的安装与配置，HBase和Hadoop的协同工作原理。

最后，讲解大数据综合案例，主要介绍日志数据分析案例，通过分析数据结构、Hadoop集群与其他Hadoop核心组件协调工作环境的搭建过程、日志数据分析工具，让学生掌握大数据技术分析数据的流程和环境搭建过程，使学生具备使用课程所学知识解决实际问题的能力。

七、课程实验内容

为了响应教育部对于新工科的要求，大数据分析技术课程的实验教学以培养应用型人才为目标，提升学生的数据分析能力、动手能力，使得学生具备大数据集群搭建、数据分析和处理的能力。结合大数据分析技术课程特点，本课程设立了四个实验，通过实验将理论用于实践，从而加深学生对理论知识的掌握和理解，以培养学生自主学习和积极动手能力的意识，使学生具备综合利用技术和平台的能力。

第一个实验是Hadoop集群搭建，学生需要完成Linux虚拟机的安装、JAVA环境的安装与配置、SSH的配置、Hadoop的安装与配置。此外，还需要测试Hadoop集群，并启动Hadoop WEB界面操作HDFS的文件，查看Hadoop的进程，使用Shell命令完成HDFS的操作。

第二个实验是HDFS编程实践，学生需要使用开发工具完成JAVA项目和JAVA类的开发以操作HDFS的数据。通过本实验能够让学生掌握常用的HDFS API，并根据实验对比Shell操作HDFS的区别。

第三个实验是MapReduce编程实践，学生需要使用开发工具完成JAVA项目，完成MapReduce程序的开发以达到预期实验结果。通过本实验能够让学生了解MapReduce程序的开发流程，掌握map函数和reduce函数的业务逻辑处理方式。

第四个实验是综合实验，学生需要搭建医疗数据分析集群环境安装并配置HBase、Mysql数据库等，并根据已给数据进行分析，最后完成数据可视化展示。通过本实验学生能够掌握大数据分析系统的搭建、数据分析流程、数据可视化过程。

本文针对大数据分析技术课程，从知识体系、教学内容、实验设置等进行了分析和改进，并对知识点连接、学生实践能力的培养提出了可行性方案。针对新工科背景下对高校教学的新要求，大数据分析技术在教学中引入了实验，培养了学生动手能力，让学生能够更好的利用理论知识解决实际问题。