苏南地区是新四军成立初期的重点活动区。当苏南沦陷后，许多抗日武装力量纷纷涌现。1938年4月，新四军的先遣支队首先进入苏南，随后新四军的第一支队和第二支队也相继进入该地区，携手苏南当地的抗日武装，如“江抗”等，共同开辟了苏南的抗日根据地。最终，苏南的抗日力量发展为新四军的第一师和第六师。

1938年3月至4月，新四军各部队进行了整编，组建完成后，兵力达一万余人，包含四个支队和十个团。最先进入苏南的先遣支队，是由第一、第二、第三支队的兵员组成的。这个支队由第二支队副司令员粟裕指挥，钟期光担任政委。

1938年6月，第一支队在陈毅的指挥下进入苏南，紧接着第二支队主力在张鼎丞的率领下，于同年7月进入苏皖边界。第一支队和第二支队与苏南地方的抗日武装力量，如丹阳游击队和“江抗”等一起，共同开辟了以茅山为中心的苏南抗日根据地。

新四军第一支队的指挥人员包括司令员陈毅，副司令员傅秋涛，参谋长胡发坚，以及政治部主任刘炎。第一支队的编制包括第一团和第二团，第一团团长由傅秋涛兼任，副团长是江渭清，参谋长为王怀生，政治处主任是钟期光。第二团的团长是张正坤，副团长刘培善，参谋长王必成，政治处主任肖国生。

第二支队的指挥人员有司令员张鼎丞，副司令员粟裕，参谋长罗忠毅，政治部主任王集成。第二支队下辖的第三团和第四团分别有黄火星和卢胜担任团长，副团长分别是邱金声和叶道志，参谋长为熊梦辉，政治处主任则是钟国楚和廖海涛。

1938年11月，傅秋涛指挥的第一团返回皖南军部进行整训，第三支队第六团则调至苏南，由第一支队指挥。第六团的团长是叶飞，副团长吴琨，参谋长为乔信民。罗炳辉在1939年1月至4月期间担任第一支队副司令员。

1938年9月，叶道志被错误杀害后，陶勇接任第二支队第四团副团长。到1939年1月，第二支队的第三团调回皖南军部，随后在1939年11月，第一支队和第二支队的指挥机关合并，组成江南指挥部。

江南指挥部由陈毅担任指挥员，粟裕为副指挥员，罗忠毅为参谋长，刘炎为政治部主任。该指挥部下辖第二团、第四团、新三团、新六团，并包含“江抗”和丹阳游击纵队等地方抗日武装力量。第二团的团长是王必成，副团长是刘培善，第四团的团长为卢胜，副团长陶勇，新三团的团长为巫恒通，新六团团长为段焕竞，政治委员是陈时夫，“江抗”总指挥为梅光迪，丹阳游击纵队司令员是管文蔚。

江南指挥部成立后，不仅巩固了苏南的抗日根据地，还执行了向北发展的战略。新四军先后组建了苏皖支队和挺进纵队，进一步扩展了抗日根据地。苏皖支队由陶勇指挥，梅嘉生担任副司令员，政治委员卢胜；挺进纵队由第六团和丹阳游击纵队合编，司令员管文蔚，副司令员叶飞，组织了长江北渡进军，开辟了新的战场。

1940年4月，原第三支队副司令员谭震林进入苏南，重新改组东路指挥部，后改称为江南人民抗日救国军东路指挥部。谭震林任司令员兼政治委员，何克希任副司令员。该部队最终改为第三支队，并在“皖南事变”后改编为新四军第六师第十八旅。

1940年7月，陈毅和粟裕率领江南指挥部的主力渡过长江北上，在苏南留下部队组建新江南指挥部，由罗忠毅和廖海涛担任指挥和政委，之后，这部分部队改为第二支队，并在“皖南事变”后改编为新四军第六师第十六旅。

在这段过程中，许多优秀的指挥员和战士为革命事业英勇献身。包括胡发坚、吴琨、罗忠毅、廖海涛、熊梦辉、张正坤、肖国生、巫恒通和王怀生等牺牲，罗炳辉、刘炎和邱金声等则在战争年代因病去世。叶道志也被误杀，为抗日战争的英勇斗争付出了巨大的牺牲。