2016-08-19 10:03:52
来 源
数据分析不是个事儿
大数据
总体上来讲,数据分析挖掘体系可分为数据预处理、分析挖掘、数据探索、数据展现和分析工具。

总体上来讲,数据分析挖掘体系可分为数据预处理、分析挖掘、数据探索、数据展现和分析工具。

▌数据预处理

?数据预处理包含数据清洗、数据集成、数据变换和数据规约几种方法。

?而数据清洗包括缺失值处理和异常值处理;

?数据集成包括同名同义、异名同义、单位不统一的实体识别和冗余性识别。

?数据变化包括函数变换、规范化、连续属性离散化、属性沟通和小波变换。

?数据规约包括属性规约和数值规约。

▌分析挖掘

?分析挖掘的内容就多了。包括假设检验、方差分析、回归分析、主成分分析、因子分析、典型相关分析、对应分析、多维尺度分析、信度分析、生存分析、分类预测、聚类分析、关联规则、时间序列分析和著名的灰色理论。后几个应用较多。

?分类预测的方法包括决策树、神经网络、支持向量机(SVM)、Logistic回归、判别分析和贝叶斯网络。

?聚类分析包括K-Means聚类、kohonen网络聚类、两步聚类和层次聚类。

?关联规则的算法有Apriori算法、GRI算法和Carma算法。

?时间序列分析包括:简单回归分析法。

?趋势外推法、指数平滑法、自回归法、ARIMA模型、季节调整法。

?灰色理论可分为灰色关联和灰色预测。

▌数据探索

?数据探索主要分为两大类,数据质量分析和数据特征分析。

?数据质量分析包括缺失值分析、异常值分析和一致性分析。

?数据特征分析包括分布分析、对比分析、统计量分析、周期性分析、贡献度分析和相关性分析。

▌分析工具

?常用的分析工具有Excel、clementine、Eviews、R语言、Matlab、Stata、SAS、Tableau、报表工具FineReport、商业智能FineBI

▌数据展现

?在数据展现方面要做的内容可分为图表制作和数据分析报告的撰写,这两方面之前都写过详细的文章

?图表制作可以用柱形图、条形图、折线图、饼图、面积图、雷达图、散点图等等。展现的方式可以是单图,组合图,多图搭配的dashboard或者深入分析的联动钻取等。

▌整理的思维导图如下(建议收藏):

收藏丨1分钟了解数据分析挖掘体系(附细致思维导图)

作者丨数据分析不是个事儿,版权著作权属原作者所有。

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。