Da dagens hovedbygning ble oppført i 1895, ble den tidligere hovedbygningen, som var fra rundt 1700, revet. Der vokste Niels Henrik Abel opp, idet faren hans var prest i Gjerstad. Ved kirken er en minnebyste av Abel utført av Brynjulf Bergslien. Det lokale historielaget har laget en kultursti i området til minne om Abel.