Valderøy prestebolig er i en og en halv etasje, reist i tre. Sørfløyen er imidlertid i mur, og har i nyere tid tjent som brannsikkert oppbevaringssted for kirkekommunens arkiv. I tidligere tider var dette et fyrfundament. Deler av huset var opprinnelig fyrvokterbolig, men har blitt utvidet atskillige ganger. I øst er det også tilbygget en ark mot Valderhaugfjorden. På samme side går den gamle vegen med trapper ned fra prestegårdshagen langs steingjerdet mot Løeg-garden til prestegårdens naust nede ved fjorden.