I middelalderen ble det foretatt ytterligere om-og påbygginger. Gustav Vasa forsterket utbyggingen med hensyn til forsvaret av borgen og det finnes bevart et rundt kanontårn fra hans tid.