La construcción del castillo fue ordenada en 1527 por Francisco I, el cual había sido capturado en la Batalla de Pavía, en 1525, y mantenido en Madrid durante algunos meses como prisionero.