જોકે, થોડાં વખત પછી ચાર્લ્સના પિતાની ફરીથી બદલી થઈ અને તેઓ પરિવાર સાથે લંડનનાં કેમડેન ટાઉનમાં રહેવા જતા રહ્યા.