I august 1869 besøkte den svenske prins Oscar og prinsesse Sofie tretårnet som for anledningen var «klædt i Flag fra Top til Fod». Prinsen ble i 1872 kronet som Oscar II, den siste felleskongen for før unionsoppløsningen i 1905. Oscar II kom tilbake til byen ved åpningen av Tønsberg jernbanestasjon nede ved fjorden i 1881 og for siste gang sommeren 1888 da kongen måtte sløyfe et planlagt besøk i det nye steintårnet som hadde blitt innviet like før.