殖民地部建立之前，由南部大臣（Secretary of State for the Southern Department）和枢密院下属委员会贸易及种植园委员会（Board of Trade and Plantations）负责处理。1768年，为处理英属北美事务，政府建立了殖民地部。北美十三州独立建国后，政府在1782年废除了殖民地部，殖民地事务先后交由内政部和陆军部负责处理。1801年，陆军部更名为陆军及殖民地部，由新设的陆军及殖民地大臣（Secretary of State for War and