Sin embargo, la familia imperial nunca llegó a habitar en él, y cuando Eugenia ya destronada quiso instalarse en España, fue alojada por los Alba en Madrid y Sevilla, descartándose este castillo, seguramente porque no reunía las condiciones adecuadas y caía a desmano de las principales ciudades del país.