Ideen om et minnetårn i mur oppstod en tid etter Tønsbergs tusenårsjubileum sommeren 1871. Ifølge Snorres kongesagaer var Tunsberg kjøpstad allerede før slaget ved Hafrsfjord. Historikerne på 1800-tallet antok at slaget hadde stått i år 872 og regnet byen som Norges eldste. Et tårn skulle markere byens stolte historie, men også vise fram sjøen og det rike omlandet for byens innbyggere og gjester. Det ble samlet inn penger, og under en festlighet 26. september 1887 ble grunnsteinen til det nye tårnet lagt.