Som så mange andre kirker ble Hordabø solgt på 1720-tallet, kjøperen var sogneprest Hans Withe. I privat eie forfalt kirken grunnet manglende vedlikehold, og da kirken endelig ble kjøpt tilbake til sognet i 1871 fant man det lite hensiktsmessig å restaurere den. I stedet ble det bygget ny og større kirke som stod innviet 5. august 1875. Det var byggmester Jon Jonsen Alvær som oppførte kirken etter tegninger av arkitekt Jacob Wilhelm Nordan. Kirken gjennomgikk omfattende restaureringsarbeider i 1949.