Bygget ble fredet av Riksantikvaren i 1922. Riksantikvaren omtalte bygningen som en av Norges best bevarte murbygg fra første halvdel av 1700-tallet. Byggets arkitektur er unik i Norge. En må visstnok til Helsingør, Danmark og tollbygningen der for å finne noe liknende. Etter kirken er det Larviks nest eldste murbygning. I 1952 ble bygningen gjenstand for en omfattende rehabilitering. En skiftet 1300 steiner i fasadene, 7500 taksteiner og en rekke av vinduene. Bygget er på tre etasjer. Grunnmur og yttervegger er oppført i teglstein som er pusset og malt. Ordene "Gud vere vor Vægter" står på østsiden.