Hans far William Charles Chamberlain måtte ta hovedansvaret for oppdragelsen av sine tre sønner etter at deres mor, Eliza Jane, datter av kaptein Basil Hall, døde kort etter hans fødsel. Far og sønn var fremmede for hverandre, noe som blant annet skyldtes at Chamberlain og hans brødre tilbrakte de neste ti år i Versailles hos bestemor og en tante, og derfor sjelden traff faren. I 1866 vendte Chamberlain tilbake til England, ettersom faren ikke likte at sønnen ble stadig mer fremmed for sitt hjemland og heller snakket fransk enn engelsk. På den nye skolen fant den sky og følsomme gutten seg ikke til rette, og kom stadig i konflikt med sine klassekamerater. Denne fremmedfølelsen overfor hjemlandet forsterket seg og bidro senere til hans tilknytning til Tyskland. Alt i 1869 vendte han av helsemessige årsaker tilbake til Frankrike, og tilbrakte de neste ni årene med sin tante på reiser rundt om i Europa.