Durante las guerras civiles, el grupo político conocido como los bagler tuvo en Tønsberg su capital y fortificó Slottfjellet.