Charlies far, Charles Chaplin sr., var alkoholiker og hadde liten kontakt med sin sønn, selv om Charlie og halvbroren en kort tid bodde hos faren og hans elskerinne Louise i 287 Kennington Road. Halvbrødrene bodde der mens deres mentalt syke mor oppholdt seg på asylet Cane Hill Asylum ved Coulsdon. Farens elskerinne sendte guttene til skolen Archbishop Temples Boys School i denne perioden. Faren døde av skrumplever da Charlie var tolv år gammel i 1901. I henhold til folketellingen av 1901 bodde Charlie i 94 Ferndale Road i Lambeth, som en del av en dansetropp av unge menn som kalte seg for «The Eight Lancashire Lads», administrert av en William Jackson.