En 1461 el marqués de Villena hizo levantar la fortaleza prácticamente tal como la conocemos actualmente, con tres pisos, sótano y terraza, poniendo en ella su escudo de armas.