Stein nació en Bélgica, sus padres, Elkan Stein y Chana Goldman, eran judíos asquenazíes de Bélgica. Después de la invasión alemana en 1940, la familia Stein huyó a los Estados Unidos, se asentó en la ciudad de Nueva York, y se graduó en el instituto de secundaria de Stuyvesant en 1949, donde fue compañero de clase del ganador de la Medalla Fields, Paul Cohen, antes de trasladarse a la Universidad de Chicago para matricularse. En 1955, Stein recibió el doctorado en filosofía de la Universidad de Chicago bajo la dirección de Antoni Zygmund. Comenzó a enseñar en el Instituto de Tecnología de Massachusetts en 1955, se trasladó a la Universidad de Chicago en 1958 como profesor adjunto y en 1963 pasó a ser profesor de matemáticas en la Universidad de Princeton hasta su muerte en 2018.