Fossum Jernverk var hjemmet til Severin Løvenskiold (1777-1856), en av de sentrale eidsvollsmenn, tilhørende Unionspartiet. Han overtok Fossum i 1799 og starter arbeidet med et nytt gårdsanlegg i 1804. Arkitekten var Christian Collett. Han påbegyndte hovedbygningen, men ble erstattet av Gottfred Böydler i 1811. Fasaden ble formentlig tegnet av C.F. Hansen eller hans kontor. Hovedbygningen var såvidt under tak da Løvenskiold måtte representere Bratsberg amt på Eidsvoll. Først i 1818 stod hele hovedbygningen ferdig.