Cependant, la force est défaite par l'Armée impériale japonaise et dispersée par les forces de Tchang Kaï-chek qui désire toujours atteindre un arrangement avec le Japon et continuer la lutte avec le Parti communiste chinois et son Armée rouge. Vivant à Guilin pendant un moment, Fang doit s'installer à Hong Kong en 1939 pour éviter les représailles du Kuomintang. Il quitte la colonie britannique quand les Japonais occupent Hong Kong en 1941, mais est assassiné par des agents du Kuomintang près de Zhongshan lors de son voyage de retour au Guangdong avec des réfugiés en .