A la muerte del duque en 1404, la villa de Portillo, su alfoz y su castillo revirtieron a la Corona de Castilla .