Huset hadde gjennomgående midtgang og er antakelig Norges eldste gjenværende midtgangsbygning. Anleggets form var svært moderne i 1600-årene, og ble kalt ”italiensk stil”. I 1670-årene dukker de første midtgangsplanene opp i norske byer som Christiania, Trondhjem – og Larvik. Bare få år tidligere fullførte den franske arkitekten Le Vau lystslottet Vaux-le-Vicomte, som ofte regnes som det historiske utgangspunktet for utviklingen av den symmetriske midtgangsplanen. Larvik hadde den gangen en nær forbindelse til tidens strømninger i mer sentrale strøk av Europa. Huset var på 1700-tallet i to fulle etasjer, med høyt helvalmet tak og to lave sidefløyer omkring et gårdsrom på baksiden. En inngjerdet hage var tilknyttet gårdsrommet. I 1794 bygget kjøpmann Hans Falkenberg huset om til det nåværende utseendet, med én etasje med halvvalmet tak, sidefløy mot øst og uthus mot vest. Fra 1794 var det de handlende og sjøfarende selv som eide eiendommen «Tollerodden».