第二十一军军长则由陈万仞继任。唐式遵先后在新郑、武汉、江苏、浙江、安徽等地以及长江沿岸同日军作战几百次。唐式遵部在负责长江防务期间，先后击伤、击沉五百余艘日本军舰。1941年1月，皖南事变爆发。当时，唐式遵是皖南地区最高指挥官，然而第三战区司令长官顾祝同认为唐式遵指挥能力不强，难以担任该职务，便临时派上官云相指挥。皖南事变正是在唐式遵的作战地域内发生的，但当时唐式遵又被剥夺了指挥权，只能奉命派出部队并按命令行事。唐式遵固守皖南，保证了皖南23个县的安全，阻止了日军向西推进并由长江登陆。直到抗日战争胜利，