Ombygningen fra festning til slott begynte i 1550-årene, da prins Magnus Vasa ble hertug av Östergötland. Magnus var psykisk utviklingshemmet, og var eneste sønn av Gustav Vasa som ikke ble konge av Sverige. Magnus døde i 1595, og ligger begravd i Vadstena kirke.