Bygningen ble oppført ca. 1770. I 1794 kjøpte Carsten Anker Eidsvoll Jernverk og satte i gang en omfattende ombygging og modernisering i årene rundt 1800. Han bosatte seg på Eidsvoll sammen med familien i 1811. Da bygningen sto ferdig, var den en av de største og mest moderne private boliger i landet. Eidsvollsbygningen var Norges største trehus i en kort periode før Stiftsgården i Trondheim var ferdig oppført 1778.