Tras un año de discretas negociaciones, el Gobierno español obtuvo la cesión de la colección al ofrecer condiciones difíciles de mejorar: aceptó las que fijaba el barón, y ofreció como sede del museo el Palacio de Villahermosa, un céntrico edificio de valor histórico, vecino al Museo del Prado y con vistas a la Plaza de Neptuno.