Tjuvholmen ligger ytterst mot Byfjorden, og her var Tønsbergs rettersted i middelalderen. Herfra er det praktfull utsikt inn mot Nordbyen og Slottsfjellet. Her var det brygge tilhørende Jarlsberg hovedgård. Herfra ble herskapene i båt brakt ut til Bolærne der de hadde landsted.