En Tønsberg hubo un importante monasterio premonstratense en la Edad Media, el monasterio de San Olaf, del que solo quedan algunas ruinas en lo que hoy es la biblioteca pública.