La cuarta fortaleza de la que se tiene certeza en este solar fue mandada construir a finales del siglo por el infante Juan de Portugal, I duque de Valencia de Campos, título concedido el 22 de diciembre de 1387, hijo bastardo del rey Pedro I de Portugal y de la noble gallega Inés de Castro.