Etter at kong Håkon Håkonsen på 1200-tallet begynte å avholde kongens råd på Jarlsø, ble riksrådet jevnlig holdt her. Seinere på 1200-tallet ble også kirkemøtene lagt til Jarlsø. I 1537 ble riksrådet og kirkemøtene nedlagt og Jarlsø ble en ordinær uthavn for Tønsberg by, da kanalen inn til byen var grodd igjen.