満州から帰国した翌年の1937年（昭和12年）7月に日中戦争が勃発、第3師団は第11師団とともに上海の在留邦人救援という名目で編成された上海派遣軍の指揮下に入り、8月23日上海郊外の呉淞に上陸（第二次上海事変）、呉淞の中国軍の抵抗は激しく、第9師団・第13師団・第101師団・重藤支隊の増派と、更には第10軍の増援を仰ぐものの中国軍を撃破、続いて南京攻略に参加した。