1926年（民国15年）11月，国民政府北伐期间，蒋介石入南昌。翌年1月，黄郛南下参加国民政府。同年7月，任上海四一二事件後的上海特别市首任市長。1928年（民国17年）2月，就任国民政府外交部長。