三叶运维最近接到一个运维开发任务，需要开发一个帐号管理系统，对手头三千多台 Linux 服务器的 root 帐号进行批量系统的管理，实现定期修改 root 为随机密码并加密存储，并向运维管理 WEB 前台提供密码查询解密接口等功能。
刚开始，我基于 php+ssh2_exec 开发了一套雏形。基本功能都实现了，结果老大说这里的运维就我稍微会点 php，后面可不好维护。本来也被我说服了，因为写都写好了，难道要重构？
后面线上测试发现，公司有部分系系统接入了 ldap 鉴权，php 的 ssh2_exec 就无法工作了，返回登陆失败的错误。
不得已，最后苦逼的用 python 将这个系统重构了一遍，并实现了多线程模式，因为不太会 python 的 cgi 框架，就用 php 搭的 api 接口，到此为止，基本全部搞定了。
在线上测试了几天后，发现总是有一台服务器要卡半天，登陆校验日志倒是成功的，但总是卡在修改密码那一步。
于是，print 一下过程，发现 chpasswd 改密码这一步报错了！导致 expect 卡住了。
看了下错误信息是：
chpasswd: PAM authentication failed
实际登陆这台机器，执行 chpasswd，发现也是报这个错误。
试着执行 passwd，也报错了：
passwd: pam_start() failed, error 26
搜了半天，也看了半天的洋文案例，都没找到一个贴切的解决办法。最终，我看到有一篇类似的案例，他是通过检查 /var/log/secure 日志文件找到的错误。
于是，我也试着碰碰运气，发现还真有记录！
在 /var/log/secure 中，发现我在执行 chpasswd 命令是会提示找不到/etc/pam.conf 文件。于是到其他系统上去看有没有这个文件，发现也没有的。
最终，我无奈之下，对比了 2 个系统的/etc 目录，让我发现了猫腻！不知道哪个无聊的人把这个系统的/etc/pam.d 给重命名为 pam.d_bak 了！！我去你 XXX，浪费我半天时间。
直接 mv pam.d_bak pam.d，然后就能够执行 echo 'root:newpassword'|chpasswd 来修改密码了。
这种奇葩的原因并不多见，所以出了问题不一定能在搜索引擎得到答案。
不过，我写这篇文章的时候，特意把 pam.d 再一次重命名，chpasswd 还是报一样的错，但是 passwd 报错却变成了：
passwd: Permission denied
罗里吧嗦说了半天，主要分享一下这个奇葩的案例和解决过程。当搜索引擎都找不到的时候，那么恭喜你成为了第一个吃螃蟹的人，有了造福互联网的机会，赶紧解决问题再分享吧。。。
目前我开发的帐号管理系统运行良好，后续有时间再整理分享一下，也许有人需要，敬请期待！
