阎锡山晚年生活在台湾，境遇可谓极为落魄和尴尬。自从他失去了权力之后，便开始修建窑洞作为住所，然而这种简陋的生活还引起了蒋介石的注意。蒋介石对他进行了严格的调查，阎锡山为了掩盖窑洞的显眼红色墙面，只能将其涂成黑色。除此之外，阎锡山时常提前给自己写挽联，并且在遗嘱中要求死后墓碑刻上自己日记中的第100段和第128段，内容显得有些神秘莫测，仿佛透露出一种颓废的心境。 1949年，阎锡山随着国民政府迁往台湾。当时，阎锡山兼任行政院长，在代总统李宗仁缺席和蒋介石未恢复总统职位的情况下，他理论上是台湾地区的最高领导人。刚到台湾时，阎锡山曾短暂风光，发表多次演讲，总结自己过去的失败，批评国民党内部的腐败与不团结，表现出一番雄心壮志，似乎准备再度崛起。然而，他低估了蒋介石的权力欲望和对他个人的不满。历史上，阎锡山曾多次与蒋介石发生冲突，到了台湾后，他继续对蒋介石进行批评，这使得蒋介石自然心生不满。

与此同时，蒋介石开始策划恢复总统职务，并在关键部门安插了自己的人。阎锡山的权力逐渐被削弱，最终他被迫辞去了国防部长职务，顾祝同接任，阎锡山彻底被架空，成为名义上的一把手。 1950年3月1日，蒋介石正式复职为总统，阎锡山也识趣地辞去了行政院长职务。蒋介石表面上假装挽留，但还是同意了阎锡山的辞职，由自己的心腹陈诚接替了行政院长的位置。阎锡山随即进入了退休生活，搬到了台北市偏僻的丽水街。

半年后，阎锡山觉得丽水街的环境仍不够宁静，便搬到了更为荒凉的台北市郊阳明山的菁山草庐。那个地方当时非常偏僻，水电不通，几乎是荒无人烟的山区。住了一段时间后，阎锡山开始怀念家乡，便异想天开地修建了三间窑洞，取名种能洞。 据说，蒋介石最初并不知道阎锡山在阳明山修建了窑洞。一次蒋介石在台北市郊的荣总医院检查身体时，偶然从窗外看到阳明山的景色。可不巧的是，他看见山中某处突出的红色，像是伤疤一般。由于阳明山已被划为保护区，不允许有人破坏，蒋介石立刻下令调查。蒋介石的侍从队伍随后赶到阎锡山的住所，但由于这是前行政院长阎锡山的住处，他们也不敢随便行动，只能建议将窑洞的红色外墙涂成黑色，以减少其显眼程度。

阎锡山对此并不知情，直到后来他才得知此事。有人解释说，为了防止空袭，所以把墙面涂成了黑色，阎锡山听后似乎也没再追究。之后，蒋介石和宋美龄专程去看望阎锡山。由于阎锡山住的地方道路不好，阎锡山害怕宋美龄穿高跟鞋走路时崴脚，于是赶紧派人将路面垫上草包。看到阎锡山生活如此简朴，宋美龄回去后便安排人给他装了一部军用电话。 阎锡山在退休后的生活非常清贫，不仅住所简陋，经济也捉襟见肘。尽管当时行政院每月为他拨款5万元，这笔钱对于当时的标准来说不算少，但阎锡山的家人和随从人数众多，这些钱虽能勉强维持生计，却无法满足他们的实际需求。而阎锡山本人并没有积蓄，虽然他逃到台湾时携带了大量金条，但这些金条最终也被蒋介石没收。

阎锡山的退休生活实在是艰难且尴尬，他的随从们跟随他，前途几乎是可见的尽头。对于这些随从来说，虽然他们跟随阎锡山多年，但大多数人并不图权利和财富，更多的是出于忠诚。然而，随着时间的推移，这些随从中的一些人开始离开，甚至阎锡山的秘书原馥庭也曾想过另谋生路，但最终在阎锡山的劝说下没有离开。 阎锡山就这样在这种困境中度过了最后的10年。他的爱好之一是埋头写书，另一个特殊的爱好则是给自己写挽联。阎锡山写了不少挽联，并要求死后将这些挽联贴在自己的墓地。还有一副挽联这样写道：

有大需要时来，始能成大事业； 无大把握而去，终难得大机缘。 除此之外，阎锡山也经常修改自己的遗嘱，他在遗嘱中要求墓碑上刻上自己日记中的第100段和第128段。这两段内容分别如下：

义以为质，礼以行之，逊以出之，信以成之，为做事之顺道，多少好事，因礼不周，言不逊，信不孚，致生障碍者，比比皆是。 突如其来之事，必有隐情，唯隐情审真不易，审不真必吃其亏。但此等隐情，不会是道理，一定是利害，应根据对方的利害，就现求隐，即可判之。

阎锡山于1960年5月23日逝世，享年77岁。蒋介石为他的葬礼做了安排，亲自主持并送上了一块怆怀耆勋的匾额。阎锡山的墓地十分简陋，因为香火稀少，显得荒凉和冷寂。不过，阎锡山的贴身侍卫张日明为纪念阎锡山，每天从阳明山脚的家里乘公交车上山，为他打理墓地和故居，并坚持守墓长达50年之久，这段佳话也流传了下来。 至于张日明如今是否还在人世，现已无人知晓。如果他也已经去世，昔日山西王的墓地恐怕会更加荒凉与冷寂，让人不禁感到一阵惋惜。