Etter foreldrenes tidlige død vokste Legien opp på barnehjem og utdannet seg senere til dreier. Han ble i 1885 medlem av SPD i Frankfurt am Main, og av (Hamburg fagforening for dreiere) samme år. Han ble senere leder av fagforeningen. I 1889 deltok han i Den andre internasjonalen som senere ble til Sosialistinternasjonalen.