Blant beboerne var den danske prosten Hans Carsten Atke (1708-71) som ga potetpresten Peder Harboe Hertzberg hans første poteter i 1758. I august 1793 holdt et voldsomt steinskred på å utslette prestegården, men beboerne klarte seg. Det gjorde de også 25. desember 1806, da prestegården ble rasert av en orkan. Peder Hertzberg hadde da vært sogneprest i Ullensvang (den gang kalt «Kingservigs kald») siden 1803. Like over nyttår 1807 ble det foretatt befaring av skadene og avhørt vitner. Presten og hans tre drenger ble avhørt etter å ha avlagt ed på at de skulle si sannheten. De forklarte at rundt kl 19 1. juledag hadde vinden økt fra sørvest til en rasende orken. I 20-tiden kom vindstøt som slo opp dørene, slukket ilden og kastet av takstein (det var snakk om store skiferheller). I mørke og storm ropte Hertzberg om drengenes hjelp til å redde kone og barn fra bispestuen og over i den såkalt ullensvangsstuen. Trass i månelyset var det så mørkt at de så vidt kunne skimte at inngangsdøren stod på skjeve, og skorsteinen var falt ned. Innboet lå slengt rundt da tjenestejentene hentet ut barna, og den syke prestefruen ble tullet inn i et laken og båret i sikkerhet gjennom øsregn og uvær. Bispestuen stod da allerede skjevt, «beveget seg som et tre», knaket og braket. Drengen David Asbjørnsen Hougstvedt så et vindstøt åpne veggene så huset raste sammen. De to andre var inne i det, men kastet seg på gulvet og klarte å krype velberget ut. Vitnene var enige i at det ikke var mulig å beskrive stormens voldsomhet. Selv den nyoppførte løen raste sammen, og samtlige bygninger ble skadet. Solide tømmerbygninger lå strødd som «en forvirret material-hop», der selve tømmeret var knust. Tragisk nok var også prestens kart og bøker, apparater og medikamenter blitt ødelagt, så Hertzberg var svært opptatt av å sikre prestegården for fremtiden. Takstmennene sa seg enige i at hans plan om å reise en sammenhengende, en-etasjes bygning var formålstjenlig, selv om det ble litt dyrere med flere takstein.