Huset ble eid og bebodd av en rekke fremstående borgere på 1800-tallet. Siden 1938 har Jegersborg vært Frimurerlogens eiendom. Under den andre verdenskrig var bygningen i Nasjonal Samlings besittelse under navnet eller . Innvielsen fant sted 14. desember 1940, og den rommet også kontorene til Larvik kretsorganisasjon av Nasjonal Samling.