El emperador Carlos I, por impulso del joven príncipe de Asturias, Felipe, determinó la conversión de este castillo en palacio.