Gården ble oppført av Mathias Christian Knutzen jr. i perioden 1801–1805. Den ble overtatt av Gulow Andorsen i 1834, og har siden båret hans navn. Andorsenslekten hadde eiendommen fram til 1953, da Gulow Andorsens barnebarn, Marie og Magdalene Salvesen, ga den til Mandal kommune, til bruk som museum og bibliotek.