任第二十三集团军总司令，并且仍兼任第二十一军军长，还指挥第五十师，改为隶属第三战区。1938年，唐式遵任第三战区（司令长官为顾祝同）副司令长官，并且仍兼任第二十三集团军总司令，第二十一军军长则由陈万仞继任。唐式遵先后在新郑、武汉、江苏、浙江、安徽等地以及长江沿岸同日军作战几百次。唐式遵部在负责长江防务期间，先后击伤、击沉五百余艘日本军舰。1941年1月，皖南事变爆发。当时，唐式遵是皖南地区最高指挥官，然而第三战区司令长官顾祝同认为唐式遵指挥能力不强，难以担任该职务，便临时派上官云相指挥。皖南事变正是在唐