В 1926 году гоминьдановское правительство организовало Северный поход, Чан Кайши взял Наньчан и разместил там свою временную ставку. В 1927 году Хуан Фу отправился на юг и присоединился к гоминьдановцам. После шанхайской резни 1927 года он стал мэром Шанхая. С февраля 1928 года Хуан Фу возглавил министерство иностранных дел.