જ્યારે ચાર્લ્સ માત્ર બે વર્ષનો હતો, ત્યારે તેમના માતાપિતા સાઉથૅંપ્ટન, ઇંગ્લેન્ડમાં સ્થાનાંતરિત થઈ ગયા હતા, જ્યાં તેમની માતાના પરિવારમાં રહેતા હતા.