Det var tidligere en stavkirke fra 1200-tallet der. I 1723 ble de fire kirkene i Lårdal prestegjeld, herunder Høydalsmo og Eidsborg stavkirke, solgt samlet av kongen til Niels Weyer. Etter kort tid solgte han til oberst Christian von Koss. von Koss solgte så Høydalsmo og Lårdal kirker til Paul Corneliussen Paus i 1733. Paus solgte Høydalsmo kirke til menigheten i 1750. Da hadde det allerede blitt bygget en ny kirkebygning, og den gamle stavkirken hadde forfalt. Stavkirken ble revet i 1785 etter flere års forfall.