过程记录

  • 发现服务器性能降低，同时腾讯云告警有疑似挖矿的可疑连接

  • top -c 检查进程，发现kdevtmpfsi进程占用CPU （正常木马会修改top命令，过滤掉挖矿程序，制造假象迷惑管理员，所以一般会先检查top文件是否完整，是否存在软链接或alias）

  • ps -ef找到进程，先kill -9掉，观察一下是否存在守护进程

  • 果不其然，大约5分钟后，进程重新启动了，检查crontab中是否有与此进程相关的计划任务或定时脚本，经检查两条crontab分别是腾讯云的资源监控和产品组件的计划任务

  • 通过社工发现该木马程序还有一个守护进程kinsing，一起kill掉之后发现进程彻底消失

  • 全局搜索该文件，定位到文件后，查找该docker目录属于哪个镜像，并清理掉残留的木马执行文件

    docker ps -q | xargs docker inspect --format '{{.State.Pid}}, {{.Id}}, {{.Name}}, {{.GraphDriver.Data.WorkDir}}' | grep "容器ID"

  • 经检查是k8s_POD_hadoop-yarn-nodemanager容器出现问题，记录下该容器交给研发备份，检查tmp目录后重新打包镜像重新构建，再进行后续观察

k8s_POD_hadoop-yarn-nodemanager:/tmp目录，关键字kinsing、kdevtmpfsi

参考文档：

https://blog.csdn.net/weixin_41476014/article/details/105527721
https://cloud.tencent.com/developer/article/1948817