Ensimmäisessä internationaalissa historian merkittävimpiin anarkisteihin lukeutuva Mihail Bakunin kiisteli Karl Marxin kanssa siitä, tavoitetaanko sosialistinen yhteiskunta parhaiten tuhoamalla valtio heti, vai käyttämällä valtiota uuden yhteiskunnan rakentamisen apuvälineenä. Bakunin oli sitä mieltä, että jos työväenliike kaappaa vallan, syntyy uusi ”proletariaatin diktatuuri”, joka on vielä nykyistä valtaa pahempi. Bakuninin ja Marxin riitely huipentui vuoden 1872 syyskuussa pidetyssä Haagin kongressissa, jolloin kansainvälinen työväenliike hajosi anarkisteihin ja marxilaisiin. Taustalla oli suhtautuminen edellisen vuoden Pariisin kommuunin tapahtumiin, jossa molempien osapuolten edustajilla oli ollut merkittävä osuus. Marx syytti kommuunin epäonnistumisesta anarkisteja, jotka hänen mielestään olivat haaskanneet aikaa suoran demokratian mukaisiin äänestyksiin ja kokouksiin hallituksen armeijan tuhoamisen sijasta. Bakuninin kannattajat, joista merkittävin ryhmä oli sveitsiläisiä kelloseppiä edustanut "Juran liitto", erosivat internationaalista Haagin kongressissa ja perustivat muutamaa viikkoa myöhemmin Sveitsissä anarkistisen internationaalin. Vuonna 1872 tapahtunut työväenliikkeen hajaannus on näkyvissä vielä nykypäivänäkin anarkistien ja puoluepolitiikassa mukana olevien vasemmistolaisten välillä.