I 1658 blev Ulfeldt udnævnt til en af guvernørerne over de erobrede Skånelande. Imidlertid kom han snart på kant med den svenske konge, da denne indskrænkede den skånske adels hævdvundne rettigheder. Ulfeldt blev tiltalt for højforræderi - bl.a. for at have røbet stormen på København under den anden danske krig. Han blev idømt husarrest, mens han ventede på rettergang, men havde held til at flygte sammen med Leonora Christine til Danmark, hvor de imidlertid blev fængslet og anbragt på Hammershus fæstning på Bornholm. Efter 17 måneders fangenskab blev de løsladt mod at underskrive en underkastelseserklæring, hvori parret gav afkald på privilegier og en væsentlig del af deres store besiddelser. Corfitz Ulfeldt skulle også holde sig i ro på Ellensborg på Fyn. Men allerede i foråret 1662 bad han om at måtte rejse udenlands i seks måneder for sit helbreds skyld. Utroligt nok fik han tilladelse til "en Reise til Suurbrøndene og de varme Bade" (måske i Aachen), men han tog slet ikke til en spa. I stedet slog ægteparret sig ned i Brügge med børn og tjenerskab, i alt 15 personer. Derfra rejste Ulfeldt til Paris, hvor han forelagde Ludvig 14. mærkelige projekter. Han forærede også helgenkongen Knud Lavards hovedskal til de franske kongers gravkirke St. Denis. Herfra forsvandt hovedskallen sporløst under den franske revolution.