核心指标智能数据监控日报

项目背景：我们数据分析师都会遇到这个问题，核心Kpi指标异常了我们怎么分析？传统的分析手段是人工不断的下钻分析，如下图所示。

当某时间段流失率出现异常时，我们基于业务理解筛选出最可能的维度省份、运营商、平台，基于这三个维度继续进行下钻分析。从省份看各省份流失率均上升，所以该维度不会是异常根因。从运营商角度能明显发现“电信”的突增，平台能明显的发现ios的突增。我们进一步分析这两个维度的组合，最终能确定为”运营商=电信&平台=ios“为根因。

这是传统的下钻分析方式，你有没有想过这整个过程是能够自动&智能化的？以下这个项目就告诉你！

项目价值：本项目对数据分析思维、智能算法、Python工程能力三者进行科学结合。构建智能数据监控日报系统，及时掌握核心指标最新情况，并当核心指标出现异常时，算法智能分析出其原因。与传统手工日报、人工下钻分析相比，大大提高了工作效率。并为业务不断迭代优化提供智能化的支撑。

构建项目流程图：

• 1、利用任务计划调度器每日定时调度python脚本

• 2、利用pymysql库与mysql交互，并做常规数据清洗

• 3、利用时间序列异常检测算法判断核当天核心指标是否异常

• 4、若没有存在异常，我们对核心维度进行下钻分析，并用pyecharts库进行数据可视化

• 5、利用html+css制作邮件主要内容，并用stmp&email库进行封装，最终输出核心KPI监控日报

• 6、但若存在异常，则我们接入根因定位算法，自动&智能的分析异常根因

• 7、在输出核心KPI监控日报同时，也输出智能根因定位日报

本项目的最大亮点是时序异常检测与根因定位算法。

时序异常检测算法方面，和时序预测其实有一定相似，比如arima、prophet、lstm都是可选择的算法。

根因定位算法方面，目前比较知名的hotspot、squeeeze、adtributor、idice等都可选择。

来看看项目实际部分截图：

五、小总结

本视频的初衷就是前面所说的，真得很难看到亮眼的数据分析项目，网上的数据分析项目基本是单一数据分析报告，我觉得数据分析师能做的远不止这些，技术与业务的结合，开发出有价值的数据产品！