民政府北伐期间，蒋介石入南昌。翌年1月，黄郛南下参加国民政府。同年7月，任上海四一二事件后的上海特别市首任市长。1928年（民国17年）2月，就任国民政府外交部长。同年3月，黄郛负责处理第1次南京事件的善后事宜，同美国缔结双边协定（其他诸国由其后任王正廷缔结协定）。同年5月，济南事件发生，黄郛在事件发生时正在济南，但和蒋介石一起从当地离开，受到中国国内舆论指责。黄郛遂辞任外交部长。其后，在野的黄郛支持张群的新政学系，并继续着书。1933年（民国22年）5月，黄郛被任命为行政院驻北平政务整理委员会委员