1. 首页
  2. 数据分析

核心指标智能数据监控日报

项目背景:我们数据分析师都会遇到这个问题,核心Kpi指标异常了我们怎么分析?传统的分析手段是人工不断的下钻分析,如下图所示。

当某时间段流失率出现异常时,我们基于业务理解筛选出最可能的维度省份、运营商、平台,基于这三个维度继续进行下钻分析。从省份看各省份流失率均上升,所以该维度不会是异常根因。从运营商角度能明显发现“电信”的突增,平台能明显的发现ios的突增。我们进一步分析这两个维度的组合,最终能确定为”运营商=电信&平台=ios“为根因。

这是传统的下钻分析方式,你有没有想过这整个过程是能够自动&智能化的?以下这个项目就告诉你!

项目价值:本项目对数据分析思维、智能算法、Python工程能力三者进行科学结合。构建智能数据监控日报系统,及时掌握核心指标最新情况,并当核心指标出现异常时,算法智能分析出其原因。与传统手工日报、人工下钻分析相比,大大提高了工作效率。并为业务不断迭代优化提供智能化的支撑。

核心指标智能数据监控日报

构建项目流程图:

  • 1、利用任务计划调度器每日定时调度python脚本

  • 2、利用pymysql库与mysql交互,并做常规数据清洗

  • 3、利用时间序列异常检测算法判断核当天核心指标是否异常

  • 4、若没有存在异常,我们对核心维度进行下钻分析,并用pyecharts库进行数据可视化

  • 5、利用html+css制作邮件主要内容,并用stmp&email库进行封装,最终输出核心KPI监控日报

  • 6、但若存在异常,则我们接入根因定位算法,自动&智能的分析异常根因

  • 7、在输出核心KPI监控日报同时,也输出智能根因定位日报

核心指标智能数据监控日报

本项目的最大亮点是时序异常检测与根因定位算法。

时序异常检测算法方面,和时序预测其实有一定相似,比如arima、prophet、lstm都是可选择的算法。

根因定位算法方面,目前比较知名的hotspot、squeeeze、adtributor、idice等都可选择。

来看看项目实际部分截图:

核心指标智能数据监控日报

核心指标智能数据监控日报

五、小总结

本视频的初衷就是前面所说的,真得很难看到亮眼的数据分析项目,网上的数据分析项目基本是单一数据分析报告,我觉得数据分析师能做的远不止这些,技术与业务的结合,开发出有价值的数据产品!

发表评论

登录后才能评论