Su abuelo paterno, Isaac Abrahams, emigró a Inglaterra desde Łódź, Polonia, cambiando su nombre a Abraham Walters, y, después de nacer el padre de Walters, emigró a los Estados Unidos con su familia en 1900.