Øya ligger beskyttet til ved Husvik og fikk tidlig stor betydning som ankerplass ved innseilinga til Tønsberg by. Jarlsø har en rik historie som strekker seg helt fra vikingtida.