Fjellheim ble reist omkring 1870 som bolig for rittmester og grosserer Jacob Krog Borch. Det sies at det var Bjørnstjerne Bjørnson som anbefalte Borch å bygge en gård på en fjellknaus over Brakerøya og bruke Emil Victor Langlet som arkitekt. Borch som var sønn av kjøpmann Christopher Borch og Margarethe Borch, drev i 13 år kolonialforretningen «Børresboden» etter Erik Andreas Børresen. Han ble en stor trelasthandler og anla Drammens første dampsag, høvleri og skipsbyggeri på Holmen i Drammen. Han kjøpte i 1852 sammen med flere andre forretningsmenn Holmen og ble senere eneeier. Han bygde så i 1866 det praktfulle privathuset som er kjent som «Fjellheim gård».