本课程从大数据挖掘分析技术实战的角度,结合理论和实践,全方位地介绍基于Yarn的Mahout和 基于Spark的MLlib等大数据挖掘工具的开发技巧。本课程涉及的主题包括:大数据挖掘及其背景,Mahout和 MLlib大数据挖掘工具,推荐系统及电影推荐案例,分类技术及聚类分析,以及与流挖掘和Docker技术的结合,分析了大数据挖掘前景分析。
本课程教学过程中还提供了案例分析来帮助学员了解如何用Mahout和 MLlib挖掘工具来解决具体的问题,并介绍了从大数据中挖掘出有价值的信息的关键。
本课程不是一个泛泛的理论性、概念性的介绍课程,而是针对问题讨论Mahout和 MLlib解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验,在课程中将会针对这些问题与学员一起进行研究,在关键点上还会搭建实验环境进行实践研究,以加深对于这些解决方案的理解。
通过本课程学习,希望推动大数据分析挖掘项目开发上升到一个新水平。
第一讲 大数据挖掘及其背景
1)大数据环境下的数据分析
2)数据挖掘定义
3)Hadoop相关技术
4)大数据挖掘知识点
第二讲 MapReduce/Spark DAG计算模式
1)分布式文件系统DFS
2)MapReduce计算模型介绍
3)使用MR进行算法设计
4)DAG及其算法设计
第三讲 大数据挖掘分析工具
1)Yarn中的Mahoutb介绍
2)Spark中的Mahout/MLib介绍
3)推荐系统及其Mahout实现方法
4)信息聚类及其MLlib实现方法
5)分类技术在Mahout/MLib中的实现方法
第四讲 大数据推荐及其应用开发
1)一个推荐系统的模型
2)基于内容的推荐
3)协同过滤
4)基于Mahout的电影推荐案例
第五讲 大数据分类技术及其应用
1)分类的定义
2)分类主要算法
3)Mahout分类过程
4)评估指标以及评测
5)贝叶斯算法新闻分类实例
第六讲 大数据聚类技术及其应用
1)聚类的定义
2)聚类的主要算法
3)K-Means、Canopy及其应用示例
4)Fuzzy K-Means、Dirichlet及其应用示例
5)基于MLlib的新闻聚类实例
第七讲 大数据关联规则和相似项发现
1)购物篮模型
2)Apriori算法
3)抄袭文档发现
4)近邻搜索的应用
第八讲 流数据挖掘相关技术
1)流数据挖掘及分析
2)Storm和流数据处理模型
3)流处理中的数据抽样
4)流过滤和Bloom filter
第九讲 云环境下大数据挖掘应用
1)与Yarn/Spark集群应用的协作
2)与Docker等其它云工具配合
3)大数据挖掘行业应用展望
汇款、现金、支票、刷卡
名 称:北京市海淀区中科院计算所职业技能培训学校
开户行:北京银行中关村支行
帐 号:01090302900120105445661