På fredningstidspunktet lå en to-etasjes bygning parallelt med, men adskilt fra hovedhuset ved et smalt gårdsrom med svalgang. Dette huset var noe eldre enn hovedbygningen, oppført av Jacob Madsen omkring 1665 på nordsiden av Toldbodholmen. Denne bygningen eksisterte på begynnelsen av 1900-tallet og vises på fotografier. Det var Thomas Ellefsøn som oppførte et mellombygg og knyttet det eldre huset til sin nye kjøpmannsgård.