本文是大 U 同事的一篇实操性经验贴,是发现问题、分析问题到解决问题的完整案例,借此分享,希望对各位有所帮助。
事件起因
事情起因于公司一位同事在内部邮件组中 post 了一个问题,一个使用了 go1.8.3 写的业务程序跑了一段时间后出现部分 goroutine 卡在等待一个锁 ForkLock 的现象,同事认为这是 go1.8.3 的 bug,升级到 go1.10 后没有再重现。为了搞清楚这个事情,同事在 github 上发了 issue:
https://github.com/golang/go/issues/26836,期间也做了很多重现的尝试,但并未重现。
我浏览了一下出现该问题的业务代码,大概的使用方式是父进程调用 os/exec 下的 Command 开子进程执行 shell 命令。Command 后面会调用 golang 封装的 forkExec 来开子进程并执行命令,forkExec 使用了 ForkLock。
问题分析
ForkLock 的存在是为了避免下面的情况:在有多个 goroutine 同时 fork exec 的情况下, 为了子进程只继承它需要的文件描述符,需要在父进程在创建这些文件描述符的时候加上 O_CLOEXEC 标志,这样在子进程中这些描述符是关闭的,子进程按需把自己需要继承的描述符打开即可。
Linux 在 2.6.27 之后,打开文件或者管道,和设置 O_CLOEXEC 是一个原子操作,因此问题不大,但 golang 对内核版本的要求是 2.6.23 及以上,另外 Unix 系统中,open 和设置 O_CLOEXEC 是两个操作,如果在两个操作之间发生 fork, 子进程就可能继承它不需要的文件描述符,因此需要加锁。重点看下 forkExec 时候的源代码:
从问题的现象看,肯定是某 goroutine 在 forkExecPipe 或者 forkAndExecInChild 这两步卡住了,锁没释放,因此有些 goroutine 一直拿不到锁,饥饿致死。forkExecPipe 最后调用的是内核 pipe2,forkAndExecInChild 最后调用的是内核 clone 和 exec。
原因猜测
pipe2 是一个快速系统调用,因此可能 block 的系统调用是 clone 和 exec, 加上在 go1.10 上这个问题没有重现,对比 go1.8 代码和 go1.9 在 forkAndExecInChild 函数上的差异:
go1.8
go1.9
go1.9 增加了 CLONE_VFORK 和 CLONE_VM。只带 SIGCHILD 的 clone 可以认为类似于 fork(最后都是调用 do_fork), fork 的问题是,在父进程占用内存越大性能越差,具体可以看这个链接:
https://bugzilla.redhat.com/show_bug.cgi?id=682922
这个 case 2011 年提出,今年 7 月还在更新,这个 case 反馈的问题是,尽管 Linux kernel 引入 copy-on-write 机制,但 fork 的时候依然要拷贝页表项,进程虚拟内存越大,需要拷贝的页表项越多,因此 fork 越慢。Golang 的讨论组有人测试过,heap size 在 2G 的情况下,fork 耗时可以到毫秒级别, 正常是及几十微秒,上千倍差距。
Go1.9 加上这两个参数是为了让子进程和父进程共享内存,相当于调用 vfork, 不需要拷贝页表项, 加快创建速度,从测试效果看,稳定在几十微妙。
所以一个合理的猜测是,在低于 go1.9 版写的程序中,当程序内存占用足够大,而且创建进程频率足够频繁,会导致 ForkLock 长时间等待。
实验论证
我用 go1.8.3 写了一个测试程序,在 2 核 4G 的虚拟机(kernel 3.10.0-693.17.1.el7.x86_64)下测试。
在外部每隔 10 秒,给这个程序发 SIGUSR1 信号,打印运行时堆栈,运行一段时间后,部分 goroutine 获取 ForkLock 的时间越来越长。见下面两图:
而在 go1.9 及以上版本上并未出现上述情况,这个结果我觉得已经可以说明问题。升级版本到 go1.9 及以上版本可以解决该问题。
写在最后
vfork 是为了解决 fork 拷贝页表项导致的性能问题, 而且大部分场景 fork 之后是调用 exec,exec 要把所有页表删除重置新的页表, 实在没必要再拷贝页表项。但由于 vfork 父子进程共享内存,所以使用要很小心,如果子进程修改某个变量,会影响到父进程,而且 kernel 会挂起父进程,让子进程先执行,这些限制基本限制 vfork 只适合跟 exec 的场景,不如 fork 通用。
正因为 vfork 的使用需要小心,因此 go1.9 准备加入 vfork 发布之前,有人提出代码不够健壮,因为 rawVforkSyscall 返回之后,在父进程段还执行指令,这样子进程有机会破坏双方的共享栈,因此提了一个 commit 去让 rawVforkSyscall 在返回后,在父进程段什么都不做直接 return,解决这个互相影响,如图所示:
如有兴趣深入了解,可以看下这个 commit 的 review,Rob Pike 等人都有发言。
https://go-review.googlesource.com/c/go/+/46173
更多技术干货,请关注 “云计算总动员” ,我们一起在这里,用云计算改变未来。
原网址: 访问
创建于: 2018-11-07 01:46:19
目录: default
标签: 无
未标明原创文章均为采集,版权归作者所有,转载无需和我联系,请注明原出处,南摩阿彌陀佛,知识,不只知道,要得到
java windows火焰图_mob64ca12ec8020的技术博客_51CTO博客 - 在windows下不可行,不知道作者是怎样搞的 监听SpringBoot 服务启动成功事件并打印信息_监听springboot启动完毕-CSDN博客 SpringBoot中就绪探针和存活探针_management.endpoint.health.probes.enabled-CSDN博客 u2u转换板 - 嘉立创EDA开源硬件平台 Spring Boot 项目的轻量级 HTTP 客户端 retrofit 框架,快来试试它!_Java精选-CSDN博客 手把手教你打造一套最牛的知识笔记管理系统! - 知乎 - 想法有重合-理论可参考 安宇雨 闲鱼 机械键盘 客制化 开贴记录 文本 linux 使用find命令查找包含某字符串的文件_beijihukk的博客-CSDN博客_find 查找字符串 ---- mac 也适用 安宇雨 打字音 记录集合 B站 bilibili 自行搭建 开坑 真正的客制化 安宇雨 黑苹果开坑 查找工具包maven pom 引用地 工具网站 Dantelis 介绍的玩轴入坑攻略 --- 关于轴的一些说法 --- 非官方 ---- 心得而已 --- 长期开坑更新 [本人问题][新开坑位]关于自动化测试的工具与平台应用 机械键盘 开团 网站记录 -- 能做一个收集的程序就好了 不过现在没时间 -- 信息大多是在群里发的 - 你要让垃圾佬 都去一个地方看难度也是很大的 精神支柱 [超级前台]sprinbboot maven superdesk-app 记录 [信息有用] [环境准备] [基本完成] [sebp/elk] 给已创建的Docker容器增加新的端口映射 - qq_30599553的博客 - CSDN博客 [正在研究] Elasticsearch, Logstash, Kibana (ELK) Docker image documentation elasticsearch centos 安装记录 及 启动手记 正式服务器 39 elasticsearch 问题合集 不断更新 6.1.1 | 6.5.1 两个版本 博客程序 - 测试 - bug记录 等等问题 laravel的启动过程解析 - lpfuture - 博客园 OAuth2 Server PHP 用 Laravel 搭建带 OAuth2 验证的 RESTful 服务 | Laravel China 社区 - 高品质的 Laravel 和 PHP 开发者社区 利用Laravel 搭建oauth2 API接口 附 Unauthenticated 解决办法 - 煮茶的博客 - SegmentFault 思否 使用 OAuth2-Server-php 搭建 OAuth2 Server - 午时的海 - 博客园 基于PHP构建OAuth 2.0 服务端 认证平台 - Endv - 博客园 Laravel 的 Artisan 命令行工具 Laravel 的文件系统和云存储功能集成 浅谈Chromium中的设计模式--终--Observer模式 浅谈Chromium中的设计模式--二--pre/post和Delegate模式 浅谈Chromium中的设计模式--一--Chromium中模块分层和进程模型 DeepMind 4 Hacking Yourself README.md update 20211011
Laravel China 简书 知乎 博客园 CSDN博客 开源中国 Go Further Ryan是菜鸟 | LNMP技术栈笔记 云栖社区-阿里云 Netflix技术博客 Techie Delight Linkedin技术博客 Dropbox技术博客 Facebook技术博客 淘宝中间件团队 美团技术博客 360技术博客 古巷博客 - 一个专注于分享的不正常博客 软件测试知识传播 - 测试窝 有赞技术团队 阮一峰 语雀 静觅丨崔庆才的个人博客 软件测试从业者综合能力提升 - isTester IBM Java 开发 使用开放 Java 生态系统开发现代应用程序 pengdai 一个强大的博主 HTML5资源教程 | 分享HTML5开发资源和开发教程 蘑菇博客 - 专注于技术分享的博客平台 个人博客-leapMie 流星007 CSDN博客 - 舍其小伙伴 稀土掘金 Go 技术论坛 | Golang / Go 语言中国知识社区
最新评论