Carl Gustaf er sønn av prins Gustaf Adolf av Sverige og Sibylla av Sachsen-Coburg-Gotha. Han var vel ett år gammel da faren omkom i en flyulykke. Da han var fire år opplevde han at oldefaren kong Gustaf V døde. Farfaren, Gustaf VI Adolf, overtok da som konge. Da bestefaren døde 15. september 1973, overtok Carl Gustav tronen.