La construcción se inició en 1825 y estaba destinada al duque de York y Albany, segundo hijo del rey Jorge III, e inicialmente se llamó York House.