Prestegården har en lang historie, og det antas at kirkestedet ble flyttet til prestegården på 1300-tallet. På 1700-tallet var de gamle prestegårdsbygningene svært medtatt, og nye bygninger ble oppført mot slutten av århundret etter mønster av Kviteseid, der den gamle prestegården hadde brent på 1700-tallet. Også på 1800-tallet og senere har det vært betydelige utskiftninger i bygningsmassen, inkludert hovedbygningen.