Riddervold forlot skolen i Fredrikstad i 1832 og ble sogneprest i Fredrikshald og fra 1838 prost i nedre Borgesyssel prosti. Etter ett år som sogneprest i Østre Toten ble han utnevnt til biskop i Trondhjem fra 1843. Hans politiske og geistlige virksomhet var preget av hans konservative livssyn, men han var ingen motstander av forsiktige reformer. Innen skolepolitikk var han en foregangsmann med sterke ønsker om heving av skolens nytteverdier.