Han var søn af rigshofmesteren Corfitz Ulfeldt og Leonora Christina Ulfeldt, blev opkaldt efter Christian IV og blev opdraget hjemme hos forældrene. Allerede 1640 blev han som Christian IV's dattersøn forlenet med Sankt Hans Klosters og Munkeliv Klostre i Bergen i Norge. Ved forældrenes flugt fra Danmark 1651 fulgte han, der kort efter mistede sine len, med dem til De Forenede Nederlande, kom vistnok i efteråret derfra til dem i Stralsund og opholdt sig der nogle år, efter at de havde taget ophold i Stockholm. Hertil kom han dog også i sommeren 1654, tiltrådte derefter en længere udenlandsrejse med ophold blandt andet i England, Schweiz (immatrikuleret ved universitetet i Genève 1656) og Frankrig, men traf atter faderen foran Frederiksodde i efteråret 1657. Under fredsforhandlingerne under krigen i 1658 var det ham, som for faderen stod for flytningen af Jørgen Seefeldts bibliotek fra Ringsted til Bavelse. Han har så været nogen tid hos forældrene i Malmø, men rejste bort derfra.