Se supone que por esa época ya sufrió la primitiva fortificación sus primeras remodelaciones para convertirla en residencia de los señores de Orellana, aún conservando su naturaleza defensiva.