Heltzen ble mistenkt for å ville innføre innskrenkninger i grunnloven etter tapet i krigen mot Tyskland av den politiske opposisjon, det National-Liberale Parti (som Heltzen næret en stor politisk uvilje og mistro overfor), som følge av Heltzens utpregede rojalistiske holdning. Dette gjorde ham senere til offer i en politisk intrige som medførte hans avgang som minister i 1865. Samme år ble Heltzen utnevnt til stiftamtmann på Fyn. I 1882 fikk Heltzen Dannebrogordenens Storkors.