Etter Tryggve Andersens beskrivelse skal Carlstrøm ha vært en «fanatisk prestehader og rationalist», og stilt seg til rådighet i forbindelse med den kjente bondeføreren Halvor Hoels intriger mot embetsmennene, før det senere kom til brudd mellom de to. Bakgrunnen for Carlstrøms fall var «en rekke forbryterske handlinger som mordbrann, tjuverier og tilmed kirkeran i Hedmarksbygdene», som begynte med en brann på en seter i 1797. Disse handlingene forble lenge uoppklarte, men etter hvert ble de knyttet til Carlstrøms navn. I 1805 ble han fengslet og stilt for retten. Den direkte årsaken var et innbrudd i Vardal kirke, hvor et vitne hevdet Carlstrøm hadde vært en av tyvene og hadde gitt ham deler av byttet, en alterduk. Carlstrøm rømte fra varetektsfengsel, men ble snart innhentet og 30. september 1805 dømt i underretten for mened og fire simple tyverier til to års tukthus og utvisning fra landet. Rettssaken omfattet over 60 vitneprov. I Christiania stiftsoverrett ble straffen 25. november 1805 skjerpet til livsvarig straffarbeid, etter at tiltalen var utvidet til også å omfatte mordbrann, kirkeran og gudsbespottelse.