Den forrige kirken sto lenger nord i bygda. Byggeåret 1742 er skåret inn i treverket flere steder og fremgår av samtidige dokumenter, nøkkelen til ytterdøren har årstallet 1743. Til tomten ved kobberverket kjørte bygdefolket frem tømmer. Byggmestere skal ha vært Knut Syversen Moen (husmann under Romundgård) og Jo Hansen Moen (husmann under Laurgård). Alle mål i vegger og grunnplan er 10 alen slik at det danner nøyaktige kvadrater. Ti år senere bygget de to Heidal kirke som brant i 1933. Johan Meyer målte opp og tegnet Sel kirke og beskrev den som en særlig vakker bygning. Ifølge tradisjonen står ikke kirken på den egentlig tiltenkte tomten, men på det stedet der de kjørte frem tømmeret. Kirken ble laftet opp forsøksvis der tømmeret lå og siden skal den bare ha blitt stående. Senere undersøkelser har vist at steinmuren under veggene har kommet til senere og at det opprinnelig bare var midlertidige steiner under hjørnene. Undersøkelsene viste også at det ikke var lagt mose mellom stokkene slik at kirken ble trekkfull og kald, og kirken ble derfor bordkledd.