武德五年（622年）春天，眼看着刘黑闼带领窦建德的旧部将窦建德原先的地盘都占有了，李渊派出李世民平定，当时跟随李世民平叛的大将不少，比如殷开山、罗艺、罗士信、秦琼和王君廓等人。

而让李世民没有预料到的是，战争还没有打响，自己这边就损失了一员大将，原来殷开山在跟随李世民去平叛的路上就病倒了，而且病得很严重，直接就死了，李世民是相当伤心，要知道殷开山一直是李世民的心腹大将。

21年后，也就是贞观十七年（643年）的春天，李世民回顾自己过去，感慨自己身边能臣猛将很多，他们都立下了大功。李世民在思考了很久之后让阎立本为其中的二十四位功臣作画，并将他们的画像放进了凌烟阁，这就是著名的凌烟阁功臣。

值得注意的是，这二十四位功臣并不是李世民随意选择的，而是综合考虑平定天下、玄武门之变和治理天下这三个方面的因素，从中选出了二十四位最具代表性的功臣，并依据他们的官职和死后的追封来做了一定的排名。

如果按照这个标准来说，殷开山似乎是不怎么符合的，毕竟他死得太早了，那时候大唐刚刚建立四年，天下也并没有平定，殷开山立下的那些大功似乎是不足以被李世民如此记住的。

最鲜明的对比就是同样死在平定刘黑闼之乱事件中的罗士信，罗士信仅仅比殷开山晚死一两个月，而且还是为了守卫洺水城被刘黑闼围攻致死的，按理说比殷开山的功劳还要大，但是罗士信就什么也没有得到。甚至后来参与玄武门之变的一些大将也没有成为凌烟阁功臣，而偏偏殷开山就入了凌烟阁，从这里也可以看出，殷开山必然是立下了很大的功劳，以至于在李世民看来，他立下的那些大功足以进入凌烟阁。

那么，是什么样的功劳让殷开山成为了凌烟阁功臣，并且还排在了第十三位，柴绍、侯君集、程知节、李绩和秦琼等人都排在了他的后面。值得一提的是，殷开山还是17位太原元谋功臣之一，与殷开山一样兼具两种功臣的只有六人。这样的特殊绝不是因为私人感情，必然是立下了真正的功劳。

如果仅仅从《旧唐书》中看殷开山的传记，似乎也没有特别出彩的地方，他家世不错，而且“少以学行见称，尤工尺牍。”隋朝时期在太谷县做县长，任上的政绩是不错的，也得到了百姓的认可。

不过，他在隋末乱局中并没有坚守自己的身份，而是早早地投了李渊，成为晋阳起兵的核心成员之一，很得李氏父子看重，以至于“参预谋略，授心腹之寄。”这更多的是一个谋臣的身份。

平定天下的过程中，殷开山最初是李建成的部下，跟随李建成攻打过西河郡，后来又跟随在李世民身边，但他在跟随李世民的过程中是犯过错误的，即第一次浅水原之战，当时李世民生病，将军中的事务交给了刘文静和殷开山，并叮嘱两人不得擅自开战。

但是两人并没有记住李世民的话，轻易被薛举引了出来，而这一仗也以唐军的惨败而告终，死伤十之六七，殷开山和刘文静因此被除名，之后不久之后薛举去世，其子继位，刘文静和殷开山再次跟随李世民发动第二次浅水原之战，并取得胜利，两人因此官复原职。

再之后就是跟随李世民攻打洛阳王世充，从这些经历来看，殷开山似乎并没有立下特别大的战功，但是他的经历中有两点很为李世民所喜欢，其一就是他曾是李建成的部下，对李建成的心腹多有了解；其二就是殷开山很善于招抚。《旧唐书》中有记载：“时关中群盗往往聚结，众无适从，令峤招慰之，所至皆下。”

这才是李世民待殷开山特别的原因，正因为这样，他为李世民招揽了一些可用之才。李世民成为天策上将之后，就开始有了野心，想与李建成一较高下，那么，招揽人才甚至是收买李建成身边的人才就成为李世民迫切想做的一件事。

殷开山就开始为李世民跑腿，在所有招揽的人才中，有明确记载的就是唐初名将张士贵。张士贵在隋末降唐后曾跟随李建成作战，虽然后期又跟随李世民，但并没有成为李世民的心腹大将，直到“太宗特遣殷开山、杜如晦赍金银四百挺以赐之。”

另一个可能被殷开山引到李世民这边的就是常何，常何在玄武门之变中的作用不言而喻，而且他原本也曾是李建成的人，他很可能就是殷开山出面帮李世民收买的，并在武德七年（624年）被李世民召进京城，“于北门领健儿长上”，成为李世民的助力。

玄武门之变发生的时候，虽然殷开山已经去世了四年，但是他为李世民招揽的人才却在玄武门之变中发挥了巨大的作用，张士贵也参与了玄武门之变。也正是这个原因，殷开山才得以在去世21年后还能成为凌烟阁功臣。