Rocker ble født i byen Mainz i Tyskland. Han meldte seg inn i SPD i begynnelsen av 1890-årene, men forlot raskt partiet. Han var svært utilfreds med det han mente var dogmatiske holdninger hos sosialdemokratene. Mens han gikk i bokbinderlære kom han i kontakt med anarkistiske ideer.