Den ble oppført i 1890 som privatbolig for skipsreder Johannes Bull. Halfdan Wilhelmsen flytta inn i 1905 og bygde det ut. Tønsberg kommune tok over i 1939, og fra 1946 til 1992 ble det brukt som lokaler for Tønsberg og Nøtterøy bibliotek. Da biblioteket flytta ut i 1992, ble det vurdert å rive bygget. Den ble imidlertid funnet verneverdig.