Gården fikk sin mark i 1790-årene da eiendommene på Oddernes som tilhørte kongsgården og prestegården ble delt opp i løkker for byens kjøpmenn og embetsmenn. Bernt Holm (1765-1829) kjøpte grunn og oppførte sin lystgård på Gimle i to omganger i perioden 1797-1807. Holm var en av Kristiansands rikeste korn- og krambodhandlere og eide også delvis handelsskuter. Gimle ble bygd som en lystgård på landet for bruk om sommeren og i ballsesongen rundt jul. Bernt Holm var også eier av Eg gård på vestsiden av Otra.