La construcción comenzó en 1784; cuando estas habitaciones se visitaron en septiembre de 1785 por el en general crítico Horace Walpole, quedó impresionado, escribió que una vez terminado, Carlton House sería ""la más perfecta de Europa"".