Han var med på å opprette Independent Labour Party i 1893 og kom etter å ha tapt sin parlamentsplass til å arbeide med å bygge opp partiet. Etter valget i 1900 kom han atter inn i parlamentet, denne gang för valgkretsen Merthyr Tydfil i Wales. Han kom til å beholde mandatet livet ut. Samme år ble Labour Representation Committee dannet. Dette var en forgjenger til det moderne Labourpartiet, som ble grunnlagt seks år etter.