（未经授权，其他网站请勿转载）

扫一扫手机访问本主页

相关其他案例推荐：Spark课程实验案例：Spark+Kafka构建实时分析Dashboard

点击这里观看厦门大学林子雨老师主讲《大数据技术原理与应用》课程视频

案例简介

Spark课程实验案例：淘宝双11数据分析与预测课程案例，由厦门大学数据库实验室团队开发，旨在满足全国高校大数据教学对实验案例的迫切需求。本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。

案例目的

熟悉Linux系统、MySQL、Hadoop、Hive、Sqoop、Spark等系统和软件的安装和使用；了解大数据处理的基本流程；熟悉数据预处理方法；熟悉在不同类型数据库之间进行数据相互导入导出；熟悉使用JSP语言搭建动态Web工程；熟悉使用Spark MLlib进行简单的分类操作。

适用对象

高校（高职）教师、学生大数据学习者

时间安排

本案例可以作为《大数据处理技术Spark》课程在学期结束后的“大作业”，或者可以作为学生暑期或寒假大数据实习实践基础案例，完成本案例预计耗时7天。

预备知识

需要案例使用者，已经学习过大数据相关课程（比如入门级课程《大数据技术原理与应用》和《Spark入门教程》），了解大数据相关技术的基本概念与原理，了解Windows操作系统、Linux操作系统、大数据处理架构Hadoop的关键技术及其基本原理、数据仓库概念与原理、关系型数据库概念与原理、JSP语言概念与应用、前端JavaScript基础用法、Spark的关键技术及其原理。

不过，由于本案例提供了全部操作细节，包括每个命令和运行结果，所以，即使没有相关背景知识，也可以按照操作说明顺利完成全部实验。

硬件要求

本案例可以在单机上完成，也可以在集群环境下完成。

单机上完成本案例实验时，建议计算机硬件配置为：500GB以上硬盘，8GB以上内存。

软件工具

本案例所涉及的系统及软件：

Linux系统MySQLHadoopHiveSqoopEChartsEclipseSpark

图 案例所涉及软件总体概览图

数据集

淘宝购物行为数据集 (5000万条记录数据分析流程，数据有偏移，不是真实的淘宝购物交易数据，但是不影响学习)

案例任务

安装Linux操作系统安装关系型数据库MySQL安装大数据处理框架Hadoop安装数据仓库Hive安装Sqoop安装Eclipse安装 Spark对文本文件形式的原始数据集进行预处理把文本文件的数据集导入到数据仓库Hive中对数据仓库Hive中的数据进行查询分析使用Sqoop将数据从Hive导入MySQL利用Eclipse搭建动态Web应用利用ECharts进行前端可视化分析利用Spark MLlib进行回头客行为预测

图 案例所涉及操作总体概览图

实验步骤

步骤零：实验环境准备

查看实验指南

步骤一：本地数据集上传到数据仓库Hive

查看实验指南

步骤二：Hive数据分析

查看实验指南

步骤三：将数据从Hive导入到MySQL

查看实验指南

步骤四:利用Spark预测回头客

查看实验指南（Scala版）

查看实验指南（Python版）

步骤五：利用ECharts进行数据可视化分析

查看实验指南

每个实验步骤所需要的知识储备、训练技能和任务清单如下：

步骤零：实验环境准备

所需知识储备

Windows操作系统、Linux操作系统、大数据处理架构Hadoop的关键技术及其基本原理、列族数据库HBase概念及其原理、数据仓库概念与原理、关系型数据库概念与原理

训练技能

双操作系统安装、虚拟机安装、Linux基本操作、Hadoop安装、HBase安装、Sqoop安装、Eclipse安装

任务清单

1. 安装Linux系统；2. 安装Hadoop；3. 安装MySQL；4. 安装Hive；5. 安装Sqoop；6. 安装Spark；7. 安装Eclipse

步骤一：本地数据集上传到数据仓库Hive

所需知识储备

Linux系统基本命令、Hadoop项目结构、分布式文件系统HDFS概念及其基本原理、数据仓库概念及其基本原理、数据仓库Hive概念及其基本原理

训练技能

Hadoop的安装与基本操作、HDFS的基本操作、Linux的安装与基本操作、数据仓库Hive的安装与基本操作、基本的数据预处理方法

任务清单

1. 安装Linux系统；2. 数据集下载与查看；3. 数据集预处理；4. 把数据集导入分布式文件系统HDFS中；5. 在数据仓库Hive上创建数据库

步骤二：Hive数据分析

所需知识储备

数据仓库Hive概念及其基本原理、SQL语句、数据库查询分析

训练技能

数据仓库Hive基本操作、创建数据库和表、使用SQL语句进行查询分析

任务清单

1. 启动Hadoop和Hive；2. 创建数据库和表；3. 简单查询分析；4. 查询条数统计分析；5. 关键字条件查询分析；6. 根据用户行为分析；7. 用户实时查询分析

步骤三：将数据从Hive导入到MySQL

所需知识储备

数据仓库Hive概念与基本原理、关系数据库概念与基本原理、SQL语句

训练技能

数据仓库Hive的基本操作、关系数据库MySQL的基本操作、Sqoop工具的使用方法

任务清单

1. Hive预操作；2. 使用Sqoop将数据从Hive导入MySQL

步骤四：利用ECharts进行数据可视化分析

所需知识储备

数据可视化、Java、JSP、JavaScript、HTML

训练技能

利用JSP语言获取MySQL中的数据、搭建一个简单的动态Web应用

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！