Den gamle bygården – gården i byen – blir ofte kalt Carl Knudsen-gården etter den siste eiers far. Siste eier var Thyra Mercedes Knudsen som døde barnløs i 1963. Hun lot Lillesand kommune få forkjøpsrett til bygningene mot at eiendommen ble gjort om til museum.