Allerede året etter ble hans bror prins Oscar født, i 1861 fulgte prins Carl, og i 1865 Eugen. De tre eldste prinsene begynte på Beskowska skolan i oktober 1869. Familien var bosatt i Arvefyrstens palass, og moren var den mest framtredende personen i hans oppvekst. Somrene ble tilbrakt på Sofiero slott, som hans far hadde anskaffet. Under de første årene av prinsens liv ble han ansett for å ha en svak kroppsholdning, noe som førte til at han 10. mai 1871 ble behandlet med elektrisitet. Til tross for dette vokste han og ble høy og slank, kjent som idrettsmann, for sin utholdenhet og etter hvert for sin høye alder.