Hirsch ble født inn i en arbeiderfamilie i Halberstadt. Han fikk likevel mulighet til å ta abitur på Magdeburg Domgymnasium. Han studerte deretter jus og samfunnsøkonomi i Tübingen, Heidelberg og Berlin. Tilbake i Magdeburg arbeidet han som kjøpmann og i bokforlag. Samtidig engasjerte han seg i forskjellige foreninger som kunne gi arbeidere utdannelse. På en reise i England i 1868 lærte han fagforeningene å kjenne. Samme år grunnla han i Tyskland sammen med Franz Duncker flere fagforeninger. de Hirsch-Dunkerske fagforeningene (Hirsch-Dunckerschen Gewerkvereine) hadde som grunnleggende ide å forbedre arbeidernes kår og sosiale vilkår, uten å komme i konflikt med arbeidsgiverne. Hirsch var samtidig ikke overbevist om statlig støtte til livsopphold, men talte for hjelp til selvhjelp.