1928年3月，黄公略即将从黄埔军校的高级班毕业时，他收到了好友彭德怀的一封信。信中，彭德怀邀请他毕业后回到老部队工作，并提到已征得师长周磐同意，打算成立一个随营学校。黄公略得知此事后，向组织报告并获得了批准。于是，在3月中旬，黄公略与黄纯一、贺国中一同抵达了独立第5师第1团驻地——南县。黄公略将黄纯一和贺国中安顿在旅社，然后单独去见彭德怀。

当黄公略到达时，彭德怀已升任团长。卫兵通报后，彭德怀急忙走出来迎接这位久别的朋友。见面时，两人十分激动，重逢的喜悦溢于言表。彭德怀还特意叫来了团里的党员邓萍、李力、李灿和张荣生，几人一起愉快地聊起了许多往事。然而，彭德怀并未意识到，黄公略早在1927年年底便加入了组织，而黄公略也没有察觉，坐在面前的几位早已是组织成员。

寒暄过后，几人开始讨论筹建随营学校的事情。彭德怀提到，校长由周磐师长兼任，而黄公略则为副校长。虽然名义上是周师长负责，但实际的工作都由黄公略负责。教材将以湖南讲武堂的教科书为依据，现正在翻印。

当谈到学校章程时，其中有一条明确要求打倒新军阀。黄公略好奇地问：“新军阀指的是谁？”彭德怀毫不犹豫地答道：“当然是蒋介石了。”听到这个回答，黄公略故作愤怒，假装大声表示“我们校长如何如何……”几人不禁面面相觑，原本以为黄公略与他们志同道合，但没想到他在黄埔军校的一年多时间里，已经完全被蒋介石的政策影响，似乎变了一个人。此时，彭德怀意识到，黄公略已经发现了他们的秘密，心中不禁升起警惕：此人不宜留。

彭德怀沉下脸色，严肃地说：“公略，咱们是多年的朋友，你当初说要为革命事业奉献一切，现在却转变了立场。既然如此，你就去跟着蒋介石走你的阳关大道吧！”说话间，张荣生和李力悄悄地绕到黄公略身后，分别用毛巾套住他的脖子和捂住他的嘴，黄公略脸色立刻苍白。两人威胁要勒死他，打算晚上将他扔进河里，掩埋尸体。

黄公略无法发声，身子剧烈挣扎，只能无力地指向自己的皮鞋后跟。邓萍看到这一幕，立刻示意李力和张荣生稍微放松，想着“反正也跑不了”。邓萍迅速脱下黄公略的皮鞋，并发现了里面藏着一封广东省委的介绍信。当彭德怀看到这封信时，他惊讶得几乎说不出话来，立刻命令李力和张荣生放开黄公略。

大约半小时后，黄公略逐渐恢复了过来，彭德怀责怪他说：“公略，你这是做什么？开这么大的玩笑，差点丢了命！”黄公略苦笑着答道：“你现在当了团长，谁能知道你究竟是真革命还是假革命？”经过这一番误会，两人终于解开了心结，黄公略让彭德怀派人去旅社接回黄纯一和贺国中。

不久后，独立第5师的随营学校在南县正式成立。师长周磐在开学典礼上宣布黄公略为副校长，贺国中为教育长，黄纯一为大队长，但此后他便再未在学校露面。

随营学校开学后，南华安特委指示彭德怀和黄公略等人通过该学校培养革命力量，争取在两年内以第1团为核心，发动全师起义。然而，黄公略在随营学校的时间并不长。就在第一期学员还未结业时，独立第5师接到了新的命令，前往平江。由于第3团3营营长因贪污被撤职，周师长指派黄公略接任，而随营学校的事务则由教育长贺国中负责。

1928年6月中旬，除随营学校外，独立第5师全师陆续抵达平江。彭德怀的第1团驻扎在县城及城南，而黄公略的第3团3营则驻扎在距县城60多里的东乡嘉义镇。黄公略所在的第3团，团长刘济仁极为反动。为了尽快巩固自己的地位，黄公略拿出自己的积蓄分发给士兵们。当时，第5师已经欠薪五个月，士兵们都对黄公略心生好感，纷纷称赞他是个不错的新营长。

然而，就在黄公略的工作逐渐见效之时，意外发生了。7月18日，南华安特委被破获，黄公略此前为南华安特委同志开具的通行证也被查获。驻长沙的独立第5师师长周磐得知此事后，立即电令副师长李慧根逮捕黄公略、黄纯一和贺国中。周磐身边的地下组织成员陈玉成察觉到情况异常，赶紧通过电报向彭德怀报信。彭德怀随即赶到电报局，扣下了周磐发给李慧根的命令电报。

面对突如其来的危机，彭德怀和在平江的省委特派员滕代远紧急召开会议，商讨应对之策。他们决定于7月22日发动武装起义，成立工农红军第5军，并通过密使告知黄公略和贺国中提前起义，争取在平江会师。

为稳住周磐，彭德怀假借李慧根之名回电：“三人已按指示逮捕，随营学校已令开往平江。”然而，黄公略在3营的活动已经引起了团长刘济仁的怀疑。7月20日，黄公略悄悄释放了关押在乡政府的赤卫队员黄耀南，却被刘济仁的侄子察觉。黄公略意识到事情暴露，决定提前起义。7月21日下午，他以闹饷为由发动了全营士兵的哗变，击毙了刘济仁的侄子和另一名反动连长，并枪决了当地挨户团的头目，缴获了所有挨户团的武器。