×

东方瑞通

请先登录,再进行下载

登录 注册

首页>Python数据挖掘和分析

Python数据挖掘和分析课程代码2233培训课时10天,60课时


课程介绍

本课程介绍了数据挖掘的基本原理,从数据挖掘基础知识开始,讲解数据挖掘建模工具和使用Python语言进使用工具;学习数据挖掘的建模过程,包括数据探索、数据预处理及挖掘建模的常用算法与原理。

课程大纲

模块名称

课程内容

Python基础和数据科学基础

1.      Python语言和开发环境简介

2.      数据科学概述

3.      数据分析流程和步骤

4.      数据获取路径

5.      法律法规

6.      Python语言和数据科学

7.      理解基本的字符串函数

8.      选择合适的数据结构

9.      通过列表推导式理解列表

10.   使用计数器,使用文件和网络

11.   使用正则表达式实现模式匹配 

12.   globbing文件名与其他字符串

13.   PicklingUnpickling数据

14.   文本数据的处理

15.   数据库数据的处理

16.   通用函数和各类聚合函数

Python数据分析基础

1.      搭建Python开发平台

2.      所要考虑的问题

3.      基础平台的搭建

4.      Python使用入门

5.      运行方式

6.      基本命令

7.      数据结构

8.      库的导入与添加

9.      Python数据分析工具

10.   Numpy

11.   Scipy

12.   Matplotlib

13.   Pandas

14.   StatsModels

15.   Scikit-Learn

16.   Keras

17.   Gensim

数据探索

1.      数据质量分析

2.      缺失值分析

3.      异常值分析

4.      一致性分析

5.      数据特征分析

6.      分布分析

7.      对比分析

8.      统计量分析

9.      周期性分析

10.   贡献度分析

11.   相关性分析

12.   Python主要数据探索函数

13.   基本统计特征函数

14.   拓展统计特征函数

15.   统计作图函数

数据预处理

1.      数据清洗60

2.      缺失值处理60

3.      异常值处理64

4.      数据集成64

5.      实体识别64

6.      冗余属性识别65

7.      数据变换65

8.      简单函数变换65

9.      规范化66

10.   连续属性离散化68

11.   属性构造70

12.   小波变换71

13.   数据规约74

14.   属性规约74

15.   数值规约77

16.   Python主要数据预处理函数80

数据挖掘建模

1.      分类与预测83

2.      实现过程83

3.      常用的分类与预测算法84

4.      回归分析85

5.      决策树89

6.      人工神经网络95

7.      5.1.6 分类与预测算法评价100

8.      5.1.7Python分类预测模型特点103

9.      5.2 聚类分析104

10.   5.2.1 常用聚类分析算法104

11.   5.2.2K-Means聚类算法105

12.   5.2.3 聚类分析算法评价111

13.   5.2.4Python主要聚类分析算法111

14.   5.3 关联规则113

15.   5.3.1 常用关联规则算法114

16.   5.3.2Apriori算法114

17.   5.4 时序模式119

18.   5.4.1 时间序列算法120

19.   5.4.2 时间序列的预处理120

20.   5.4.3 平稳时间序列分析122

21.   5.4.4 非平稳时间序列分析124

22.   5.4.5Python主要时序模式算法132

23.   5.5 离群点检测134

24.   5.5.1 离群点检测方法135

25.   5.5.2 基于模型的离群点检测方法136

26.   5.5.3 基于聚类的离群点检测方法138

数据挖掘实战项目一客户价值分析

1.      背景与挖掘目标164

2.      7.2 分析方法与过程166

3.      7.2.1 数据抽取168

4.      7.2.2 数据探索分析168

5.      7.2.3 数据预处理169

6.      7.2.4 模型构建173

数据挖掘实战项目二--电子商务网站用户行为分析及服务推荐

1.      背景与挖掘目标238

2.      12.2 分析方法与过程240

3.      12.2.1 数据抽取242

4.      12.2.2 数据探索分析244

5.      12.2.3 数据预处理251

6.      12.2.4 模型构建256

协议分析

1.      Web端协议分析

2.      网页登录POST分析

3.      隐藏表单分析

4.      加密数据分析

5.      验证码问题

6.      IP代理

7.      Cookie登录

8.      传统验证码识别

9.      人工打码

10.   滑动验证码

11.   PC客户端抓包分析

12.   HTTP Analyzer简介

13.   虾米音乐PCAPI实战分析

14.   App抓包分析

15.   Wireshark简介

16.   酷我听书AppAPI实战分析

17.   API爬虫:爬取mp3资源信息

Scrapy爬虫框架

1.      Scrapy爬虫架构

2.      安装Scrapy

3.      创建cnblogs项目

4.      创建爬虫模块

5.      定义Item

6.      翻页功能

7.      构建Item Pipeline

8.      内置数据存储

9.      启动爬虫

10.   强化爬虫

11.   调试方法

12.   异常

13.   控制运行状态

14.   Item Loader

15.   ItemItem Loader

16.   输入与输出处理器

17.   Item Loader Context

18.   请求与响应

19.   下载器中间件

20.   Spider中间件

21.   扩展

22.   突破反爬虫

增量式与分布式爬虫

1.      去重方案

2.      BloomFilter算法

3.      BloomFilter原理

4.      Python实现BloomFilter

5.      ScrapyBloomFilter

6.      Redis基础

7.      Redis的安装和配置

8.      Redis数据类型与操作

9.      PythonRedis

10.   Python操作Redis

11.   Scrapy集成Redis

12.   MongoDB集群

PySpider爬虫框架

1.      PySpiderScrapy

2.      选择器

3.      PyQuery的用法

4.       解析数据

5.      AjaxHTTP请求

6.      Ajax爬取

7.      HTTP请求实现

8.      PySpiderPhantomJS

9.      使用PhantomJS

10.   运行JavaScript

11.   数据存储

12.   PySpider爬虫架构

学员基础

Python语言编程知识/参加过Python语言基础课程培训

Python数据分析基础/参加过Python网络爬虫开发课程培训

高等数据基本知识

了解数据库访问SQL语句

了解数据建模的概念

了解数据分析方面的法律法规和隐私保护等常识

课程目标

?  了解一个完整的数据分析过程,从数据采集到挖掘,清洗,分析和输出的整个过程。。

?  学习Python数据分析方法和工具的使用

?  学习各种数据分析的算法和框架。

?  学习各种建模方式和工具的使用

?  基于案例学习客户价值分析等数据挖掘应用场景

结业-开启新起点

Q&A

此课程暂无问题

我要提问:

footer底部

PMI, PMP, Project Management Professional, CAPM, PgMP, PfMP, PMI-ACP, PMI-RMP, PMI-SP, PMI-PBA and PMBOK are registered marks of the Project Management Institute, Inc.
Copyright © 2006-2018 东方瑞通(北京)咨询服务有限公司版权所有
京ICP备 13009094号   京公网安备 11010802014211号   

提示

老学员报名 非老学员报名