Siendo niño todavía, se mudó a Londres en 1848, pero después de la muerte de su padre en 1849, Whistler y su madre volvieron a Pomfret, en Connecticut.