I mellomtiden var faren blitt stadig mer kontroversiell. Han ble først anklaget for å ha ledet tusener inn i fordervelsen med sin katekismebok. I tillegg deltok han i andre diskusjoner som gjorde ham enda mer omstridt. Dette må den unge Niels Henrik ha opplevd som vanskelig. Hans karakterer på skolen ble dårligere slik at han endte opp med å bli oppflyttet «på prøve» i 1817. I september samme høst ble han konfirmert i Vår Frelsers kirke, 15 år gammel.