Quedaron relegados desde 1972 a la "sección de arte del siglo XIX", físicamente separada del edificio principal (el del Paseo del Prado, obra de Juan de Villanueva) y fueron alojados en el más discreto Casón del Buen Retiro, de donde se retiró la mayor parte de ellos en 1981 cuando se recuperó el "Guernica".