李水清将军是江西吉水县人,1917年出生于井冈山麓的阜田镇水南村。1930年8月他参加了中国工农红军,那时才13岁。他是一至五次反“围剿”、强渡大渡河、飞夺泸定桥、平型关大战、百团大战、平津战役、太原战役的亲历者。1955年,他被授予少将军衔。
1949年10月1日,199师参加开国大典阅兵式,李水清走在199师队列的最前面,这一年他32岁。1951年,李水清入朝作战,担任67军副军长兼199师师长。在秋季防御战役中,67军激战金城川三日,顽强抗击了敌人3天的猛烈攻势,胜利地粉碎了敌人的全面进攻,重创美军第7师。全军3天共歼敌17000多人,创造了朝鲜战场日歼敌的最高纪录,志愿军司令部、兵团均发电予以表扬。被朝鲜民主主义人民共和国授予二级国旗勋章和二级自由独立勋章。
1958年毛主席接见济南军区领导干部。当时军以上领导干部列队欢迎。毛主席进入会场,见李水清,呼之曰:"小李子"。时任济南军区副司令员的李水清一听主席叫他,立即精神抖擞,迈步"蹬蹬"上前敬礼。毛主席笑呵呵:"小李子不长个子,只长精神。"
文革期间,李水清1969年5月任山东省革命委员会党的核心领导小组成员,6月任山东省革命委员会副主任,和李耀文一起成为杨得志的得力助手。1970年,他被周总理亲自点名,脱下军装,担任第一机械工业部革命委员会主任,1975年,他担任第一机械工业部部长。
1975年1月,邓小平任中共中央副主席、国务院副总理、中央军委副主席和中国人民解放军总参谋长。李水清此时心时不平静了,他思考良久,给邓小平写了一封信。什么信呢?就是辞职信。他在信中陈述说,自己担任第一机械工业部部长一职,实在是外行领导内行,表示愿意辞去部长一职,回到部队工作。邓小平看到他的信后,当即批示,同意他回军队!回到军队后,李水清先是到了南京军区担任副司令员。1977年8月,也就是两年后,李水清又被任命为第二炮兵司令员、第二炮兵党委第一书记。李水清将军后来回忆说:"那是非常时期,总理点将,赶鸭子上架,外行管内行,不得已而为之。所以,邓主席一复出,我就马上写辞职书请求调回军队干老本行。"