Decidido ya su uso museal, quedó adscrito al Prado en 1971, albergando hasta 1997 la sección correspondiente al arte del siglo XIX, que acababa de verse extraordinariamente incrementada tras la adscripción de los fondos de esa época que habían pertenecido al extinto Museo de Arte Moderno, función muy acorde con su arquitectura decimonónica, pero de escaso atractivo para los visitantes, dada la separación del Casón del edificio Villanueva, y el desconocimiento general del arte español de esa época.