作者简介：杨婷，美团点评点餐终端团队成员。

监控平台

监控的重要性和必要性不必多说，这是提高故障处理能力和保障服务质量所必须的一环。
那么监控究竟要做什么呢？简而言之：及时上报错误，收集有效信息，提供故障排查依据。

  • 及时上报错误：相信每个程序员都有这样的经验，发生线上问题后，经由运营或者产品反馈到开发人员，其中流转过程可能是几分钟甚至几十分钟，这段时间可能直接导致公司的经济损失。如果有一个监控系统，在线上出现问题时，监控系统能够第一时间报警，并且通知到开发人员，那开发人员就可以第一时间修复上线，直接可以使公司损失最小化。

  • 收集有效信息：特别是移动时代，定位一个问题时，需要很多用户信息(如用户手机版本，网络情况，操作流程等)。如果没有监控数据，往往只能靠猜，又或是来回找产品运营甚至出现问题的用户去沟通定位，其中不可避免的会花费大量的时间。但是如果监控系统里记录了设备信息，错误发生时的场景信息，以及用户的操作流等程，我们就可以直接根据这些信息进行问题定位，在最短时间内完成故障修复，减小问题的影响面。

  • 提供故障排查依据：监控前端SDK所上报的错误信息和其他的记录信息，其最终目的都是作为我们排查故障的依据，为我们保障服务提供坚实的依靠。

监控分类

所以我们监控平台需要包括记录型监控和捕捉型监控：

  • 记录型监控

    • 页面访问记录：用户访问了哪些页面

    • 资源加载记录：页面中加载了哪些资源

    • 用户行为记录：用户在页面上做了哪些操作，目前我们只记录用户的点击行为

    • 接口调用相关记录：页面调用了哪些接口

  • 捕捉型监控

    • DNS劫持：页面是否被劫持（我司已经全量切了https，不存在https页面被劫持的情况，因此该模块不在本监控系统中）

    • 资源加载错误：哪些资源加载失败了，为了捕获跨域js的错误，需要在相应资源标签上添加crossorigin属性。

    • 页面错误：页面渲染过程中出现的错误

    • 内部逻辑错误：用户特定操作出现的错误，通过用户行为定位

    • 接口错误：调用接口失败



场景还原法

场景还原是监控面板提供的一个非常有用的功能，它将支撑系统处理过的所有记录和错误按照时间顺序展示。通过场景还原的列表，我们可以还原出指定用户在浏览页面过程中发生的所有事情及其先后顺序，从而判断问题发生的时机和环境。

假设以下场景：

PM：BD反馈用户在购物车刷不出来啦！
RD：什么？我试试！我这里可以看到的呀
PM：商户反馈，店里有的用户可以有的用户不行
RD：别急，告诉我shopId和打不开的用户的账号，我去监控平台上看一下
PM：xxx
RD在监控面板上使用场景还原功能，调出了该用户的所有信息记录。发现该用户是从菜品详情页进入的购物车，而再查看正常的用户都不是从这个入口进的，定位到是菜品详情页跳购物车的部分有问题，并立刻进行了修复

在以上这种用户可能有多种操作的场景中，场景还原法可以针对特定用户，还原其完整的操作路径和页面上发生的所有事情，帮助复现问题。
另外，一些非必现的问题，常常是由于不同机型或环境引起的，也可以在场景还原中复现问题的发生环境予以判断。


监控平台总体分为三部分：


  • 监控前端SDK：收集用户端错误和相关信息，并进行上报

  • 监控web层支撑系统：处理上报的监控信息

  • 监控面板：提供实时查看上报信息的面板，方便监控数据的便捷使用

本文主要介绍监控前端SDK的实践经验，仍有许多需要改进的地方，欢迎大家拍砖，帮助我们改进。

整体设计



如图所示，整个监控平台分为前端SDK、web层支撑系统和监控面板三大部分，前端SDK运行在前端页面中，收集监控数据上报到支撑系统里，作为监控面板上查询的数据源。


就前端SDK来说，可以分为数据模块、数据处理模块、上报模块三大部分，其中数据模块包括各具体监控数据模块和环境数据模块：

  • 数据模块

    • DNS劫持检测

    • 资源完整性检查

    • 资源加载错误

    • API监控

    • 全局错误

    • 用户交互

    • 自定义上报

    • 各监控模块：获取需要上报的具体内容信息（EventData或ErrorData）

    • 环境模块：获取环境数据

  • 数据处理模块：将环境数据和各内容数据，处理成接口对应的格式，并返回标准格式数据

  • 上报模块：从环境模块获取环境数据，再和内容数据一起根据不同监控类型分发到对应的数据处理模块。获取标准数据后发送到node层。
    上报模块先查看本地缓存数据，将本地数据和新产生的数据一起上报，若上报失败则存入localStorage

详细设计

SDK里采用单例模式，包括各监控模块、环境模块和上报模块。
每个具体监控模块获取上报模块实例进行上报，上报模块内部保证同时只会有一个上报请求。
事件的监听都在捕获阶段进行，防止因为事件冒泡被阻止而遗漏信息。

环境模块

环境模块收集以下环境信息：项目配置信息、web环境数据、jsbridge环境数据
其他的一些诸如UA、isp等web层可以获取的信息由web层获取。
该模块暴露init和getEnv方法

  • init接收用户配置的环境参数

  • getEnv更新页面url，再返回当前env对象freeze的一个副本



上报模块

采取单请求上报的方式，每个用户同时只会有一条上报请求，每次将当前记录到的监控信息列表一起上报，成功后再继续上报。

上报结束之前的新上报记录都存在localstorage，收到成功消息后删除已上报数据，继续上报，不成功的记录保留在localstorage。此处需注意对localstorage存储的上限做好控制。

在当前没有数据正在上报的情况下触发上报，尝试将当前localstorage的数据和新数据全部上报，若上报记录过多，则分条发送。全部发送完或上报失败，本次上报结束。





各具体监控模块

DNS劫持

由于我司已全量HTTPS，本监控系统并未包含该部分。不过之前本团队也做过相关的劫持检测，其检测思路为请求node层指定域名下的样本HTML或js资源，对比返回结果是否符合预期。

资源完整性检查

资源完整性检查模块的任务是记录页面加载了哪些资源，并进行上报。
当我们排查问题时，可以查看当前页面已经加载成功了哪些资源及其加载顺序，排除因为某些资源没有加载或者加载顺序不当而引起错误的情况。



资源加载完整性检查的上报时机分四类，每次将开始监听到触发上报之间所有记录到的已加载资源一起上报，减少上报请求数：


  1. onload：window.onload时触发

  2. onload_timeout: onload超时（5秒）时触发

  3. async：window.onload后一定延时（5秒）触发，上报后停止监听

  4. hash_change：onhashchange开始监听，一定延时（5秒）触发上报，上报后停止监听

内存中维护一个已加载资源的数组，每次上报后删除已上报的资源记录。

资源加载错误监控

window上error事件代理，过滤window本身的error
根据标签类型判断资源类型，src或href为资源地址
为了捕获跨域js的错误，需要在相应资源标签上添加crossorigin属性。

API错误监控

同样采用XMLHttpRequest加hook方式实现。
open时记录接口url，send后根据status判断，接口调用失败时进行上报。

XMLHttpRequest.prototype.open = function open(method, url, bool) {
    monitor.originXHR.open.apply(this, [method, url, bool]);    // get something...
    // this.ajaxUrl = url;}

XMLHttpRequest.prototype.send = function send(_data) {    const self = this;    this.addEventListener('readystatechange', () => {        if (self.readyState === 4) {            if (self.status !== 200 && self.status !== 304 && this.ajaxUrl !== REPORT_URL) { // filter urls
                // report error info
                // ...
                // monitor.reporter.report(dataTypes.API_ERROR, error);
            }
        }
    }, false);

    monitor.originXHR.send.apply(this, [_data]);
};

过滤掉sdk本身的上报地址（防止上报失败引起循环上报）和一些其他需要忽略的接口地址。

敲黑板，接口访问url时可能是一个相对路径，建议补全协议和domain

全局错误监控

监听window上的error事件，过滤事件代理的error。

用户交互监控

监听window上捕获阶段的click事件，记录点击相关数据。

业务代码中可以为比较关注的元素添加data属性，每次点击将会上报被点击元素的指定属性、附加信息和domPath帮助定位该元素。

记录用户交互信息可以明确问题发生时，该场景下用户的具体操作路径，结合环境数据、资源加载记录和错误数据，整个问题场景就一目了然了。

接入方式

sdk的接入方式分为以下两种：

  1. 先加载sdk

    • 优点：可以记录页面加载完成前的情况，加载的资源，以及发生的错误

    • 缺点：影响页面加载速度，直接拷贝在head中，对业务接入不友好

  2. 后加载sdk

    • 优点：不影响页面性能

    • 缺点：只能监控加载成功的页面，但我们需要关心页面加载失败的场景

为了满足功能需要，当前监控平台v1的引入方式是将压缩后的sdk代码直接引入到被监控页面的head中，并由业务代码初始化配置项目名称等。该步操作可以借助webpack的插件来帮助完成，减轻业务组接入的复杂度。

后续改进方向考虑采用：核心基础库+loaders/plugins 的方式，将必须先加载的sdk代码引入在head中，其余代码等页面加载完成后再异步添加。

以上就是我们终端团队监控平台前端SDK部分的实践分享啦，欢迎大家批评指正，有好的建议也希望能提出来帮助我们改进。我们后续将不断优化，也将继续与大家保持讨论。耐心看到这里的读者，表示十二万分的感谢~~