Las crónicas no dan indicación alguna sobre la existencia de un castillo en tiempos de las revueltas de la minoría de edad de Alfonso XI, que habría sido el momento oportuno para hablar de ello pues la villa de Portillo se vio disputada por los dos tutores del rey niño, don Juan Manuel y el infante Felipe, —hijo de Sancho IV de Castilla y de María de Molina.