La scission aura lieu début septembre 1872 lors du congrès, à La Haye. Le lieu du congrès suscite déjà des oppositions (nombre de fédérations pensaient qu'il se tiendrait en Suisse). Les jurassiens mandatent impérativement James Guillaume et Adhémar Schwitzguébel pour présenter leur motion « antiautoritaire » au congrès officiel et se retirer en cas de vote négatif. Le congrès regroupe 65 délégués d'une dizaine de pays. Du fait du maintien officieux de leur structure internationale autonome (l’Alliance démocratique sociale), Bakounine et Guillaume sont exclus. Le conseil général est transféré à New York. Des militants et des fédérations se solidarisent avec les exclus et quittent alors l'AIT.