Steintårnet erstattet et utkikkstårn av tre som Tønsberg Sjømannsforening bygde i 1856 og som brant ned i 1874.