1961年5月13日凌晨，开国中将张祖谅因长期患有胃癌，最终在上海华东医院去世，享年仅50岁。

在中国开国将军中，张祖谅的去世相对较早。他并非一开始便患上胃癌，而是由于长期胃病未得到有效治疗，再加上他工作繁忙，导致病情逐渐恶化，直至不可逆转。张祖谅的生活并非完全没有休息时间，但他常常将工作摆在了第一位，甚至连陪伴家人的时间都捉襟见肘。尤其是在1952年，尽管胃病尚未好转，他依然急忙赶赴朝鲜前线。

当时，抗美援朝的第五次战役中，60军180师作战失利，造成了不可挽回的损失。1950年冬，中央决定从12军、15军和60军抽调兵力组成志愿军第三兵团，陈赓担任司令员，王近山任副司令员，其他重要将领也被任命。第三兵团的组建中，原二野的指挥班子占据主导地位，然而其中60军却是从一野十八兵团中抽调而来。

这其中，60军军长张祖谅最初并未随部队入朝，他的缺席有两方面原因：首先是川西的剿匪任务繁重，作为川西军区司令员的张祖谅自然不能离开；其次，由于他的健康状况持续不佳，特别是胃病问题，严重影响了他参与战争的能力。张祖谅的妻子王华回忆，战争期间，张祖谅的健康便不好，建国后虽然她建议他休息养病，但张祖谅的工作量却比战争时还要繁重，经常连家人也见不到。他的儿子张晓蒲年幼时，常常疑惑地问母亲：“爸爸到底在做什么？”这让王华只能无奈苦笑。

张祖谅的工作压力可以说是非常巨大，有时连节假日也不曾休息，王华曾多次劝说丈夫抽空陪陪孩子。然而张祖谅全身心投入工作，甚至忽视了自己的身体。1951年，60军被调往朝鲜，张祖谅虽然身兼川西军区司令员的职务，但仍然希望能亲自指挥部队。此时，他向时任西南军区司令员贺老总提出希望入朝的请求，贺老总以川西的剿匪任务繁重为由坚决不同意。

然而，张祖谅并不轻易放弃，他向贺老总表示，自己已经开始为入朝做准备，这让贺老总愤怒至极：“你想把我晾成光杆司令吗？”贺老总最终还是在考虑张祖谅身体状况的基础上同意他留在国内。尽管如此，张祖谅依旧心存不甘，最终未能如愿在初期参与朝鲜战役。

第三兵团在1951年参与第五次战役时，战局形势非常复杂，由于轻敌和准备不足，部队被敌人包围，尤其是180师损失惨重。张祖谅得知这个消息后，感到异常沉痛，尽管自己没有亲自参战，但作为前任军长，他感到对部队的失败负有一定责任。特别是180师作为解放战争时期的老部队，理应表现更好。

1952年7月，张祖谅亲赴朝鲜探望部队，他接过关于180师损失的通报，内心愈加沉重。在与陈赓和王近山的交谈中，他坚定表示要重回60军，带领部队进行翻身仗。尽管他身体状况堪忧，最后，张祖谅还是获得了回到部队的机会，最终也证明自己依旧能发挥出色指挥能力。

然而，在随后的时间里，张祖谅的健康状况不断恶化，胃病逐渐加重。1960年，他在杭州因过度劳累导致胃病复发，甚至无法正常进食，最终被紧急送往上海治疗。医生诊断出他患上了胃癌，并已进入晚期，无法手术治疗。张祖谅的妻子王华当时正在南京，不慎因焦虑摔倒，导致尾巴骨骨折。虽然身体极度痛苦，她依然坚持赶往上海陪伴丈夫。

尽管南京军区在处理张祖谅病情时刻意隐瞒了部分事实，但张祖谅夫妇心里都清楚，他们相处的日子已经不多了。1961年，张祖谅的病情急剧恶化，许多老战友前来探望，他的朋友许世友也在百忙中亲自前往上海看望，向张祖谅表示自己无能为力。

1961年5月12日，张祖谅昏迷不醒，许世友悲痛欲绝，告知张祖谅的孩子们他们的父亲已经不行了。翌日凌晨，张祖谅在上海去世，享年50岁。张祖谅的遗体被送往南京，经过一场简短的告别仪式后，专机送往南京。南京军区为他举行了盛大的公祭大会，悼念这位为国家付出了青春与生命的伟大将领。

张祖谅的英勇事迹和奉献精神，永远铭刻在历史的长河中。尽管他英年早逝，但他为新中国的建立和发展所作出的贡献，将永远被后人铭记。