En raison de désaccords avec Tchang Kaï-chek, il est détenu et démis de ses fonctions en . Après l'invasion du Jehol par les Japonais en , Fang rejoint le mouvement des armées de volontaires anti-japonaises. Il organise les forces du mouvement en Chine et les mène dans le Nord pour affronter les Japonais. Le , Fang s'allie avec Feng Yuxiang à Zhangjiakou et fonde l'armée anti-japonaise populaire du Cháhāěr, en devenant commandant des troupes du Nord, et combattant les Japonais dans l'est du Cháhāěr. L'armée connait un certain succès, reprenant temporairement aux Japonais et à leurs collaborateurs.