Stenersen har skrevet og utgitt en rekke folkelige forelesninger. Disse kom ut i 1818–19 under tittelen . Her har han med en rekke oversettelser av salmer fra reformasjonstiden, bl. a. oversatte han Paul Gerhardts «Befiehl du deine Wege», en oversettelse som ble kjent gjennom Wilhelm Andreas Wexels' . Stenersen skrev også en biografi om Hans Nielsen Hauge, og selv om han har mye godt å si om Hauge, tar han likevel avstand fra lekmannsforkynnelsen hans. Han var ikke rett kalt og kunne ikke forkynne offentlig.