庐山会议时，毛主席给黄克诚扣了四顶帽子，黄克诚都不接受
在1959年的庐山会议上，黄克诚因支持彭德怀，遭到了严厉批判。7月30日晚上，毛主席特意召见了黄克诚，和他谈话。按照黄克诚的说法，毛主席给他戴上了四顶帽子。
第一顶帽子，毛主席说黄克诚是彭德怀的政治参谋长。实际上，彭德怀曾推荐黄克诚接替粟裕的总参谋长职务，而黄克诚并不认同这种说法。黄克诚认为，总参谋长的任命并非彭德怀一人能够决定，而是要经过中央和毛主席的同意。他在回应毛主席时说道：我当彭德怀的参谋长，是毛主席你要我来担任的。我当时在湖南工作，并没有主动要求去当参谋长。既然当了参谋长，政治和军事又怎么能分开呢？彭德怀的信是在庐山写的，而我当时还没有上山，怎么能成为他的参谋长呢？
第二顶帽子，毛主席称黄克诚是湖南集团的首要人物。黄克诚在建国初期曾担任湖南省委书记和湖南军区司令员，做出了重要贡献。但1952年他被调离湖南，出任解放军副总参谋长兼总后勤部长，离开了湖南。因此，黄克诚认为自己并不能算是湖南集团的一员。他解释道：我在湖南工作过多年，和湖南的领导人见过几面，谈过一些工作，怎么能因此就成为‘湖南集团’的首要人物呢？
第三顶帽子，毛主席认为黄克诚是军事俱乐部的主要成员。所谓的军事俱乐部，指的是在庐山会议上支持彭德怀的几个人，包括黄克诚、邓华、洪学智等。这些人都曾是彭德怀的部下。黄克诚并不认同这个说法，他表示支持彭德怀并不是因为个人关系，而是因为他认为彭德怀提出的那些问题是值得关注的，应该引起中央重视。黄克诚说：我支持彭德怀的‘万言书’，而不是支持彭德怀这个人，更不是支持什么‘军事俱乐部’。
第四顶帽子，毛主席说黄克诚与彭德怀的观点基本一致，称他们是父子关系。黄克诚同意毛主席所说的两人观点基本一致，但坚决不同意父子关系这一说法。他强调：我和彭德怀言不及私，互相尊重、相争以理，性格和作风比较合得来，仅此而已。他说自己始终坚持真理，从不阿谀奉承，不论是对彭德怀还是毛主席，黄克诚都敢于直言反对。对于父子关系，黄克诚表示这是对他个人的侮辱，并且绝不认同。
黄克诚的反驳并没有改变他的命运，他还是被撤销了职务。此事件对黄克诚造成了极大的心理压力，他甚至在回忆录中写道：我一生经历了无数次斗争，但庐山会议的这次打击对我来说最为严重，也最难以承受。那时我患有失眠症，每晚吃安眠药，最多吃两粒，但那时我每天吃六粒，还是无法入睡。 这个事件对黄克诚的影响深远，直至多年后，他依然深感痛苦。