En 1832 empezó la construcción del actual edificio (diseñado por William Wilkins) en el sitio de las antiguas Caballerizas Reales en Charing Cross, en un área que había sido transformada en la década de 1820 en Trafalgar Square.