Entre 1434 y 1462, Diego González de Toledo compró todo el señorío y su hijo, Garci Franco de Toledo, miembro de la adinerada familia de judíos conversos, se hizo nombrar señor del lugar, cambió de nombre la población y comenzó la construcción del castillo actual alrededor del 1473.