Kaarlen isä oli pfalzkreivi Juhana Kasimir ja hänen äitinsä Kustaa II Aadolfin siskopuoli Katariina. He olivat paenneet Ruotsiin kolmikymmenvuotista sotaa. Kaarle syntyi Nyköpingshusissa 8. marraskuuta 1622. Nuorukaisena Kaarle otti osaa sotaan ja sai opetusta Lennart Torstenssonilta. Hän kunnostautui Breitenfeldin taistelussa vuonna 1642 ja Jankowin taistelussa vuonna 1645. Vuonna 1645 Kaarle palasi Ruotsiin aikeenaan kosia serkkuaan, kuningatar Kristiinaa. Tästä ei tosin tullut mitään, mutta Kaarle sai komennuksen takaisin Saksaan, jossa hän otti osaa Westfalenin rauhan toimeenpanoon. Vuonna 1649 Kristiina, Vaasa-suvun viimeinen edustaja, nimitti aatelin vastustuksesta huolimatta Kaarlen kruununperillisekseen. Kaarle vetäytyi Öölantiin.