Kirkepolitisk var Riddervold konservativ. Som biskop av Trondhjem vegret han seg mot å krone dronning Joséfine i Trondhjem, fordi dette stred mot forfatningen og kirkeretten, ettersom hun var katolsk. Dermed ble verken hun eller kong Oscar I kronet i Norge. Han bekjempet på alle måter den såkalte Lammersbevegelsen, en frikirkelig bevegelse som hadde meget til felles med baptismen, var oppkalt etter sin grunnlegger Gustav Adolf Lammers og hadde fått et støttepunkt i Skien. Bestrebelsene for en kirkereform i 1850-årene stilte han seg skeptisk overfor, og da Stortinget i 1868 vedtok loven om menighetsråd, nektet han å godta det.