I 1884 ble Tønsberg Museum stiftet, og året etter ble tårnet tatt i bruk som utstillingslokale for «oldsager». I 1899 ble den arktiske avdelingen flyttet til en nyoppført trevilla på Slottsfjellsplatået, mens den kulturhistoriske ble værende i tårnbygningen. Tårnet egnet seg dårlig som trygt oppbevaringssted for museumsgjenstandene, og i 1930 ble de til slutt fjernet for godt. I 1940 ble samlingene overdratt sammen med gjenstander fra Tønsberg Sjøfartsmuseum til det nyopprettede Vestfold Fylkesmuseum.