Roku 1931 vpadli do Mandžuska Japonci. Čankajšek sice vehementně hájil, že je to část Číny, vojenskému střetnutí se ale vyhýbal a chtěl se hlavně vypořádat se svými komunistickými rivaly. V letech 1933–1938 působili dva vysocí němečtí generálové, von Seeckt a von Falkenhausen, jako jeho poradci. Roku 1936 odletěl Čankajšek do Si-anu, kde ho však jeho generálové unesli a donutili, aby se proti Japoncům spojil s komunisty. V červenci 1937 vypukla Druhá čínsko-japonská válka a Čankajšek vyslal 600 tisíc dobře vycvičených mužů na obranu Šanghaje. Vojensky sice prohrál a ztratil na 200 tisíc mužů, Japonce však přesvědčil, že Čínu nedobudou za tři měsíce, jak se chlubili. Koncem roku padl Nanking, kde Japonci povraždili snad 200 tisíc Číňanů (Nankingský masakr), a Čankajšek ustupoval do Wu-chanu a Čchung-čchingu a za sebou nechával „spálenou zemi“. V roce 1938 dal například zničit hráze kolem Nankinu, kde poté při povodni zahynulo na půl milionu lidí.