Nel 1911 Ordzhonikidze si recò a Parigi dove conobbe Vladimir Lenin. Seguì dei corsi alla scuola di partito di Longjumeau, fondata per addestrare i quadri bolscevichi, ma abbandonò dopo poco tempo per dissidi interni al partito. Fu rimandato in Russia per preparare la Conferenza di Praga, che si tenne nel gennaio 1912. A questo incontro i Bolscevichi, la corrente maggioritaria del RSDLP guidata da Lenin, confermarono la loro scissione dal partito. Ordzhonikidze fu eletto nel Comitato Centrale del PCUS, e rimandato in Russia per comunicare agli altri bolscevichi il risultato della Conferenza. Raggiunse anche Stalin, esiliato a Vologda, e i due ritornarono nel Caucaso e poi a San Pietroburgo, dove Ordzhonikidze fu arrestato di nuovo nell’Aprile 1912.