Under oppveksten bodde Charlie sammen med sin mor på ulike adresser i og rundt Kennington Road i Lambeth, inkludert 3 Pownall Terrace, Chester Street og 39 Methley Street. Hans mor og bestemoren på morssiden var fra familien Smith fra Romanichals (en engelsk undergruppe av Romanifolket), et faktum som Charlie var meget stolt av, skjønt i sin selvbiografi beskrev han det som «et skjelett i familiens skap».