Det eksisterte planer om å erstatte den gamle stavkirken på Olberg, helt fra en besiktigelse av kirken i 1673, men det ble ikke noe av den gangen. Dikterpresten Jørgen Moe initierte i 1853 gamle planer overfor formannskapet om å reise ei ny kirke på plassen, og fikk tilslutning til det. Arkitekt H. E. Schirmer ble engasjert for å utarbeide et utkast til en ny trekirke, og tegningene ble fremlagt for formannskapet høsten 1854, men det første utkastet ble for kostbart å reise. Det ble derfor bestemte at man skulle bruke Holmen kirke i Sigdal som model for den nye kirken. En slik løsning var også diskutert tidligere. Holmen kirke var imidlertid reist med basis i tegningene til Bamble kirke, så arkitekt Hansteen i Drammen tillempet planene for Bamble og Holmen kirker, med hensyn til behovene i Krødsherad. Dette ble godtatt og byggearbeidene ble satt i gang 1857.