Het werd oorspronkelijk opgericht om Brits Noord-Amerika te besturen maar overzag vervolgens een stijgend aantal Britse koloniën van het Britse Rijk. Ondanks zijn naam was het 'Colonial Office' nooit verantwoordelijk voor alle overzeese gebieden van het Britse Rijk: haar rol over de dominions veranderde doorheen de tijd, protectoraten vielen onder het 'Foreign Office' en India werd tot 1858 door de 'Britse Oost-Indische Compagnie', en als gevolg van de Indiase opstand van 1857, vanaf 1858 door de 'India Office' geleid.