Perustamisvaiheen keskeisistä henkilöistä kommunisti Karl Marx ja kollektivisti, anarkisti Mihail Bakunin ajautuivat voimakkaisiin erimielisyyksiin aatteellisissa kysymyksissä, mikä halvaannutti internationaalin työskentelyä. Vuoden 1872 Haagin kongressin jälkeen anarkistit erosivat internationaalista ja perustivat vielä samana vuonna Anarkistisen internationaalin. Ensimmäisen internationaalin toiminta hiipui vähitellen, ja se lakkautettiin 1876. Seuraajaksi perustettiin Toinen internationaali vuonna 1889.