tableau高级可视化图表平均值 学会爬虫,还需要学什么,才能进行大数据分析?

[更新]
·
·
分类:互联网
3633 阅读

tableau高级可视化图表平均值

学会爬虫,还需要学什么,才能进行大数据分析?

学会爬虫,还需要学什么,才能进行大数据分析?

爬虫实际上是数据获取的捷径,如果想要学习数据分析,首先还是需要了解数据分析的过程。这里简单说一下数据分析的过程并告诉每个部分需要掌握的知识。
1.定义问题确定需要的问题,以及想得出的结论。需要考虑的选项有很多,要根据所在业务去判断。常见的有:变化趋势、用户画像、影响因素、历史数据等等。
《数据之美》:这一本书里面没有什么干货,但有很多案例,可以通过里面的案例来了解数据分析的基本过程。不是很厚,但里面的数据分析思想非常值得学习,毕竟ideal才是最重要的。
2.数据获取数据获取的方式有很多种。一是可以直接从企业数据库调取,这时候就需要SQL技能去完成数据提取等的数据库管理工作。二是获取公开数据,可以从政府、企业、统计局等机构去下载公开数据。三是通过Python编写网页爬虫,收集互联网的数据。
SQL 是用于访问和处理数据库的标准的计算机语言。需要掌握到如何使用 SQL 访问和处理数据系统中的数据。SQL在公司的应用多,可以说是必须掌握的。
这里我推荐一个SQL的教程:
3.数据预处理因为原始数据可能会有很多问题比如残缺、重复、无效的数据,所以数据预处理主要是对异常数据进行清洗,以便更加准确的分出分析结果。而我最经常做的就是设定一些筛选规则把异常数据剔除掉,以及将缺失值用平均值或者线性函数估计进行填补。
这里比较多涉及的就是统计学的知识了,刚入门不建议把统计学翻个底朝天的学习,不然就会觉得很吃力。所以建议暂时先掌握一些基本的预处理。推荐:《深入浅出统计学》,这本书可以说是非常适合入门了,如果对统计学一点了解都没有或者都忘得差不多了,可以从他入手。如果大学时数学就特别好,就不推荐这本书。
4.数据分析与建模这个部分学起来可能会觉得很抽象,因为模型是对现实世界特征的模拟和抽象。在这个部分需要了解基本的统计分析方法、数据挖掘算法,了解不同统计方法适用的场景和适合的问题。而数据挖掘的算法、特征提取可以用来优化自己的模型,获得更好的结果。
这个部分涉及的知识就比较复杂,这是一个建立数据模型的过程,内容包括数据结构、数据操作、数据约束。还要学习的是数据挖掘和算法,需要很好的数学基础。
5.数据可视化和分析报告撰写数据可视化,学习一款可视化工具,将数据通过可视化最直观的展现出来。也可以进一步深入探究其内部的关系,通过建模和分析,来对未来的情况有更精准的预测。
数据可视化的方法有很多,常见的有用SPSS、R语言来进行可视化,如果编程能力有限也可以选择一款喜欢的可视化软件。这里我推荐一个Tableau,原因当然是简单易用还附带免费教程。