Den tidligere rederboligen ble oppført i 1878 for skipsreder og konsul Morten Wilhelm Wilhelmsen. Den og parken ble donert til Tønsberg kommune i 1929 for at den skulle fungere som rådhus, noe den gjorde fram til 1962. Bygningen fikk glassmaleri utført av Bernhard Greve i 1939. Foran villaen står en byste av Wilh. Wilhelmsen. I parken er det en dam og i sør et monument over rederiet Wilh. Wilhelmsen.