Nació el 1 de diciembre en la ciudad de Samotschin (Szamoscin en polaco), entonces provincia polaca del Imperio Alemán, hijo de Max Toller e Ida Khon.