No hay mención escrita sobre la existencia de un castillo o torre de vigía en Portillo hasta los tiempos de las luchas internas entre Pedro I de Castilla y su hermanastro Enrique de Trastamara.