El palacio, originalmente conocido como Buckingham House, era en un principio un "petit hôtel" construido para el primer duque de Buckingham en 1703 y adquirido por el rey Jorge III en 1762 para convertirlo en residencia privada.