Em 1868, Bakunin se juntou à Associação Internacional dos Trabalhadores, uma federação de sindicatos e trabalhadores que possuía filiais espalhadas por muitos países europeus, bem como pela América Latina, norte da África e Oriente Médio. A influência “Bakuninista" rapidamente se expandiu, especialmente pela Espanha. Bakunin envolveu-se então numa contenda com Karl Marx, que era uma figura-chave no Conselho Geral da Associação. O Congresso de Haia de 1872 foi dominado por uma luta entre os seguidores de Marx, que defendiam o uso do Estado para provocar o socialismo e a facção anarquista de Bakunin, que argumentava em prol da substituição do Estado por federações locais de trabalho autônomos. Bakunin não pôde participar do congresso, pois não conseguiu chegar à Holanda a tempo. Diante da ausência do líder, a facção anarquista acabou perdendo e Bakunin foi expulso por Marx, sob a alegação de manter uma organização internacional secreta.