Fossum Jernverk var hjemmet til Severin Løvenskiold (1777-1856), en av de sentrale eidsvollsmenn, tilhørende unionspartiet. Han overtok Fossum i 1799 og startet arbeidet med et nytt gårdsanlegg i 1804. Arkitekten var Christian Collett. Han påbegynte hovedbygningen, men ble erstattet av Gottfred Böjdler i 1811. Hovedbygningen var såvidt under tak da Løvenskiold måtte representere Bratsberg amt på Eidsvoll. Først i 1818 var hele hovedbygningen ferdig. Hovedbygningen består utvendig og til dels innvendig i dag som da bygningen var ferdig og er et av empiretidens hovedanlegg i Norge.