录制 流量 说明 rdebug/recorder.md at master · didi/rdebug

[](#%E5%BD%95%E5%88%B6%E6%B5%81%E9%87%8F)录制流量

[](#%E4%B8%80%E6%80%9D%E8%B7%AF)一、思路

注入 so 到 php-fpm，异步录制流量并存储，尽可能的减少对程序执行时间的影响。

注入 so 的方式，在 macOS 系统下通过 DYLD_INSERT_LIBRARIES，Linux 系统下通过 LD_PRELOAD 来实现。

简单示例：

# macOS
$ DYLD_INSERT_LIBRARIES="/usr/local/var/koala/koala-libc.so:/usr/lib/libcurl.dylib" DYLD_FORCE_FLAT_NAMESPACE="y" LC_CTYPE="C" KOALA_SO=/usr/local/var/koala/koala-recorder.so KOALA_RECORD_TO_DIR=/usr/local/var/koala /usr/local/sbin/php-fpm

# or, Linux
$ LD_PRELOAD="/usr/local/var/koala/koala-libc.so /usr/lib64/libcurl.so.4" LC_CTYPE="C" KOALA_SO=/usr/local/var/koala/koala-recorder.so KOALA_RECORD_TO_DIR=/usr/local/var/koala /usr/local/sbin/php-fpm

示例见 PHP DEMO。

在滴滴内部，每个模块会有 1-2 台机器，进行线上环境录制。录制已经在生产环境使用。

[](#%E4%BA%8C%E7%8E%AF%E5%A2%83%E5%8F%98%E9%87%8F)二、环境变量

录制使用的环境变量有：

KOALA_SO: 值是 koala-recorder.so 文件的路径，用于 koala-libc.so 读取此环境变量，来动态加载 so。

KOALA_RECORD_TO_DIR: 值是存储录制流量的目录，录制好的流量，将以文件的形式，存储在这个目录下。

KOALA_RECORD_TO_ES: 与 KOALA_RECORD_TO_DIR 相对，两者取其一，这个环境变量指定存储 ES 的 Url，即把录制好的流量，通过这个 Url 写入到 ES 里。

具体代码实现，可查看 koala/cmd/recorder/main.go。

[](#%E4%B8%89%E8%87%AA%E5%AE%9A%E4%B9%89%E5%BD%95%E5%88%B6)三、自定义录制

Koala 是一个库，koala/cmd/recorder/main.go 是在 Koala 基础上实现的一个简单版本的录制。

可参考 koala/cmd/recorder/main.go 代码，实现自定义的 recorder。

譬如，对录制的流量进行过滤(只录制指定文件、指定端口的流量等)、控制不同接口的录制频率、使用其他存储方式等。

[](#%E5%9B%9B%E5%BD%95%E5%88%B6%E6%94%AF%E6%8C%81)四、录制支持

目前录制支持 HTTP、Redis、MySQL、Apcu、UDP、Thrift 等协议。

HTTP、Redis、MySQL、UDP、Thrift 属于网络流量录制，与之类似的，都可以录制。

Apcu 录制，需要对 Apcu 接口进行封装来实现录制上报，见示例代码 DEMO。

[](#%E4%BA%94%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A1%B9)五、注意事项

  • 划分多个请求的流量

通常 php-fpm 是 master & worker 模式，worker 是单进程单线程，串行处理请求。

Nginx 和 php-fpm 之间使用 fastcgi 协议。

所以，请求之间可以通过 fastcgi 开始请求的协议来划分请求。

下面是一个 fastcgi 协议的示例，设置 sut.InboundRequestPrefix 为 fastcgi 开始请求的协议前两个字节，来辅助判断是否来新请求。

// 文件 `koala/cmd/recorder/main.go`
protocol := envarg.GetenvFromC("KOALA_INBOUND_PROTOCOL")
if protocol == "fastcgi" || protocol == "" {

sut.InboundRequestPrefix = \[\]byte{1, 1}

}

如果来新请求，就结束上一次请求的录制。

所以，在录制的时候，第一个请求访问后，并没有发现有流量被录制下来。

当第二个请求过来时，才会结束第一个请求的录制，并存储录下来的流量。

如果是存储到文件的话，第二个请求访问时，才会看到第一个请求的录制文件。

Original url: Access
Created at: 2019-06-10 17:21:45
Category: default
Tags: none

未标明原创文章均为采集，版权归作者所有，转载无需和我联系，请注明原出处，南摩阿彌陀佛，知识，不只知道，要得到

请先后发表评论
  • 最新评论
  • 总共0条评论