Opprinnelig var den sørlige minister også minister for koloniene i Nord-Amerika. I 1768 ble ansvaret for de amerikanske koloniene flyttet over til et nyopprettet kolonidepartementet.