Andorsengården består av to sammenhengende bygninger – hovedhuset og økonomibygningen. Hovedbygningen har 20 værelser, hvorav noen er store saler. I Knutzens, Andorsenfamiliens og Salvesensfamiliens tid ble det i disse salene holdt større sosiale sammenkomster og fester for byens sosietet. Idag huser hovedbygningen Mandal museum. Mandal bibliotek flyttet over elven og inn i Buen kulturhus 6. februar 2012, etter å ha holdt til i hovedhusets 1. etasje siden 1956.