Under Christian V ble han kongens fremste rådgiver og langt på vei Danmark-Norges faktiske makthaver. I 1676 falt han i unåde og ble fengslet. Han ble dømt til døden blant annet for landsforræderi, men dommen ble endret til livsvarig fengsel. Han var i 18 år (1680–1698) fange på Munkholmen utenfor Trondhjem, og ble løslatt etter 22 års fangenskap.