Desde 1858 se convirtió en sede de varias sociedades y entidades, como la Sociedad Económica Matritense de Amigos del País, la Real Academia de Ciencias Morales y Políticas o la Real Academia de Ciencias Exactas, Físicas y Naturales.