Ulfeldt kunne ikke slappe av lenge, for bare to dager senere kom kongen med en serie anklager mot ham overfor riksrådet. Han ble både beskyldt for å ha utnyttet sitt embete til egen vinning og for å disponere uten kongens vitende. Cortitz Ulfeldt kunne se hvor dette bar hen og fryktet å ende som Sehested. Allerede dagen etter anklagene reiste han og familien til Hellebæk, hvor de gikk ombord på et bestilt skip. De flyktet via Holland til Sverige hvor de oppholdt seg ved det svenske hoffet mellom juni 1652 og mai 1655. Frederik III benyttet Ulfeldts flukt til å føye flere punkter til anklagene. Nå ble han også beskyldt for å ha holdt Frederik fra farens dødsleie, for egenhendig å ha gjennomsøkt den dødes gemakker uten riksrådets samtykke samt å ha fjernet en æresport på Amagertorv, så dronning Sophie Amalie under sin kroning ikke hadde kunnet dra til og fra kirken med ære.