Svarstad kirke kalles iblant Lardal kirke, og dette kirkestedet er gammelt. Ifølge et oppslag utenfor kirken skal første kirke ha blitt reist rundt år 1000. En stavkirke viet til Olav den hellige er omtalt i et diplom fra 1359 og ifølge nevnte oppslag reist rundt år 1200. To portalplanker fra denne, samt enkelte andre dekorative detaljer er å finne i Oldsaksamlingen. Stavkirken skal ha brent i 1392 og blitt erstattet med en ny kirke som ble innviet i 1395, men det er ikke klart hvordan dette lar seg forene med det faktum at portalplankene er tatt vare på. Kirken ble områdets hovedkirke etter reformasjonen, men utpå 1600-tallet ble den ansett for å være altfor liten. I 1651 leide man en byggmester med tanke på å utvide kirken, men det ble vedtatt å bygge nytt, og dagens kirke ble innviet i 1657. Kirken var i grevens eie til den ble solgt til menigheten i 1764. Det kan legges til at ikke alle kilder omtaler fire kirker. Det gjelder for eksempel bokverket «Kirker i Norge».