Han var son till en adelsman. Ordzjonikidze studerade i Tbilisi på en fältskärskola. År 1903 blev han medlem i RSDRP (det ryska socialdemokratiska arbetarpartiet). Ordzjonikidze var bolsjevik och var känd under sitt partismeknamn, "Sergo Ordzjonikidze". Han deltog aktivt i 1905-1907 års revolution i Kaukasusområdet och studerade i Lenins partiskola i Lonjumeau i Frankrike. Han valdes 1912 till medlem i den ryska bolsjevikiska byråns centralkommitté, satt 1912-1913 i arbetsläger och blev sedan deporterad. Efter återkomsten från deporteringen blev han medlem i RSDRP:s bolsjevikiska Petersburgskommitté och Verkställande kommittén vid Petersburgs sovjet. Han deltog aktivt i Oktoberrevolutionen 1917. Under inbördeskriget befann han sig på en ledande post inom armén och var en av de som organiserade segern mot Denikins trupper.