Bygningen var tidligere byens posthus, men Posten flyttet høsten 1988 til Øvrebyen senter. Fra 1992 er gamle postgården brukt som et allaktivitetshus, drevet som en stiftelse av lokale lag og organisasjoner. I 1998 overtok Mandal kommune driftsansvaret for allaktivitetshuset. Bygningen huser idag blant annet Mandal kulturkontor og en ungdomsklubb.