您现在的位置是:首页 > 正文

区区几行代码,就能全面实现 Python 自动探索性数据分析

2024-01-30 20:16:38阅读 1

探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。自动化的EDA Python包可以用几行Python代码执行EDA。

在本文中整理了10个可以自动执行EDA并生成有关数据的见解的Python包,看看他们都有什么功能,能在多大程度上帮我们自动化解决EDA的需求。

技术交流

技术要学会分享、交流,不建议闭门造车。

本文由技术群粉丝推荐、分享,问题咨询、资料获取、数据、技术交流提升,均可加交流群获取,群友已超过3000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友

方式①、添加微信号:dkl88191,备注:来自CSDN
方式②、微信搜索公众号:Python学习与数据挖掘,后台回复:加群

1、D-Tale

在这里插入图片描述

D-Tale使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

import dtale
import pandas as pd
dtale.show(pd.read_csv("titanic.csv"))

图片

D-Tale库用一行代码就可以生成一个报告,其中包含数据集、相关性、图表和热图的总体总结,并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析,上面截图中我们可以看到图表是可以进行交互操作的。

2、Pandas-Profiling

在这里插入图片描述

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report(),并且在大型数据集上工作得非常好,它可以在几秒钟内创建报告。

#Install the below libaries before importing
import pandas as pd
from pandas_profiling import ProfileReport

#EDA using pandas-profiling
profile = ProfileReport(pd.read_csv('titanic.csv'), explorative=True)

#Saving results to a HTML file
profile.to_file("output.html")

图片

3、Sweetviz

图片

Sweetviz是一个开源的Python库,只需要两行Python代码就可以生成漂亮的可视化图,将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。

import pandas as pd
import sweetviz as sv

#EDA using Autoviz
sweet_report = sv.analyze(pd.read_csv("titanic.csv"))

#Saving results to HTML file
sweet_report.show_html('sweet_report.html')

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。

图片

4、AutoViz

在这里插入图片描述

Autoviz包可以用一行代码自动可视化任何大小的数据集,并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。

import pandas as pd
from autoviz.AutoViz_Class import AutoViz_Class

#EDA using Autoviz
autoviz = AutoViz_Class().AutoViz('train.csv')

图片

5、Dataprep

图片

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上,可以很容易地与其他Python库集成。

DataPrep的运行速度这10个包中最快的,他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。

from dataprep.datasets import load_dataset
from dataprep.eda import create_report

df = load_dataset("titanic.csv")
create_report(df).show_browser()

在这里插入图片描述

6、Klib

在这里插入图片描述

klib是一个用于导入、清理、分析和预处理数据的Python库。

import klib
import pandas as pd

df = pd.read_csv('DATASET.csv')
klib.missingval_plot(df)

在这里插入图片描述

klib.corr_plot(df_cleaned, annot=False)

图片

klib.dist_plot(df_cleaned['Win_Prob'])
klib.cat_plot(df, figsize=(50,15))

klibe虽然提供了很多的分析函数,但是对于每一个分析需要我们手动的编写代码,所以只能说是半自动化的操作,但是如果我们需要更定制化的分析,他是非常方便的。

图片

7、Dabl

Dabl不太关注单个列的统计度量,而是更多地关注通过可视化提供快速概述,以及方便的机器学习预处理和模型搜索。

在这里插入图片描述

dabl中的Plot()函数可以通过绘制各种图来实现可视化,包括:

  • 目标分布图

  • 散点图

  • 线性判别分析

import pandas as pd
import dabl

df = pd.read_csv("titanic.csv")
dabl.plot(df, target_col="Survived")

图片

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包,包括 Pandas,Numpy,Sklearn,Xgboost 和 Matplotlib,所以说其实SpeedML不仅仅包含自动化EDA的功能。

SpeedML官方说,使用它可以基于迭代进行开发,将编码时间缩短了70%。

from speedml import Speedml

sml = Speedml('../input/train.csv', '../input/test.csv',
            target = 'Survived', uid = 'PassengerId')
sml.train.head()

在这里插入图片描述

sml.plot.correlate()

图片

sml.plot.distribute()

图片

sml.plot.ordinal('Parch')

图片

sml.plot.ordinal('SibSp')

图片

sml.plot.continuous('Age')

在这里插入图片描述

9、DataTile

DataTile(以前称为Pandas-Summary)是一个开源的Python软件包,负责管理,汇总和可视化数据。DataTile基本上是PANDAS DataFrame describe()函数的扩展。

import pandas as pd
from datatile.summary.df import DataFrameSummary

df = pd.read_csv('titanic.csv')
dfs = DataFrameSummary(df)
dfs.summary()

在这里插入图片描述

10、edaviz

edaviz是一个可以在Jupyter Notebook和Jupyter Lab中进行数据探索和可视化的python库,他本来是非常好用的,但是后来被砖厂(Databricks)收购并且整合到bamboolib 中,所以这里就简单的给个演示。

图片

总结

在本文中,我们介绍了10个自动探索性数据分析Python软件包,这些软件包可以在几行Python代码中生成数据摘要并进行可视化。通过自动化的工作可以节省我们的很多时间。

Dataprep是我最常用的EDA包,AutoViz和D-table也是不错的选择,如果你需要定制化分析可以使用Klib,SpeedML整合的东西比较多,单独使用它啊进行EDA分析不是特别的适用,其他的包可以根据个人喜好选择,其实都还是很好用的,最后edaviz就不要考虑了,因为已经不开源了。

网站文章

  • 【学习笔记】Unreal(虚幻)4引擎入门(三)

    【学习笔记】Unreal(虚幻)4引擎入门(三)

    UE4入门学习笔记第三弹

    2024-01-30 20:16:05
  • 云服务器和物理机的区别

    物理机是放在机房运行的真实存在的物理设备,有独立的硬盘、内存、CPU、操作系统等。云主机是在一组集群服务器上虚拟出多个类似独立服务器的部分,集群中的每台机器都会有云主机的一个镜像备份。云服务器使用了云...

    2024-01-30 20:15:57
  • python 去除字符串(去除前面几个或者是后面几个)

    a = "16541616584984" a = a[2:-2] print(a) 输出结果:5416165849 a[2:-2] 表示去掉前面两个和后面两个 如果光去掉后面的a[:-2] 去掉前面的操作以此类推。。。。 ...

    2024-01-30 20:15:49
  • linux安装Llighttpd

    linux安装Llighttpd

    linux安装Llighttpd

    2024-01-30 20:15:18
  • Spring系列五:手动实现Spring底层机制

    Spring系列五:手动实现Spring底层机制

    手动实现Spring底层机制

    2024-01-30 20:15:11
  • 每日五问(java)

    每日五问

    2024-01-30 20:15:04
  • 操作系统 进程的描述与控制

    本系列是计算机操作系统的笔记 采用的书是《计算机操作系统》汤子瀛第二章 进程的描述与控制2.1前驱图和程序执行2.1.1前驱图1. 所谓前驱图,是指一个有向无循环图,可记为DAG(Directed Acyclic Graph),它用于描述进程之间执行的先后顺序。2.1.2程序顺序执行 程序的顺序执行 程序顺序执行时的特征 顺序性 封闭性 可再现性 2.1.3 程序并发执行 程序的并发执行 程序并发

    2024-01-30 20:14:57
  • Laravel - 队列应用及踩过的坑

    Laravel - 队列应用及踩过的坑

    Laravel 自己实现了队列的机制,如果要看源码解析,这两篇文章写的很好。 https://laravel-china.org/articles/4169/analysis-of-laravel-m...

    2024-01-30 20:14:29
  • Centos7安装Redis单节点

    Centos7安装Redis单节点

    Centos7安装Redis单节点下载Redis安装包服务器中使用wget直接下载解压安装gcc依赖编译&安装修改默认配置文件启动Redis连接客户端停止Redis下载Redis安装包Redis官网地址:https://redis.io/这里下载最新的5.0.5版本。下载地址:服务器中使用wget直接下载服务器需要能够访问外网,可以参考VirtualBox配置Centos7固定...

    2024-01-30 20:14:23
  • 计算机中丢失mplugin.dll,安装MathType时提示缺少Mplugin.dll文件

    计算机中丢失mplugin.dll,安装MathType时提示缺少Mplugin.dll文件

    MathType在编辑数学公式确实很方便,因为它的功能很强大,能够进行多种数学符号编辑。但是MathType在使用安装时也有很多朋友遇到了很多问题,比如Mplugin.dll文件缺失,这样就导致了Ma...

    2024-01-30 20:14:16