Po vypuknutí občanské války v Rusku v roce 1918 začal Ordžonikidze sloužit u Rudé armády a vstoupil do Ústředního výkonného výboru Donské republiky a stal se předsedou a severokavkazského obranného výboru. Od roku 1919 byl také členem revoluční vojenské rady v 12. a 14. armádě. V Rudé armádě zaznamenal mnoho válečných úspěchu a podařilo se mu porazit bělogvardějce pod vedením generála Antona Ivanoviče Děnikina a obsadit důležité oblasti na Ukrajině (Charkov, Donbas a další). V lednu 1920 se stal členem kavkazského revolučního vojenského výboru a v květnu 1920 obsadil se svými vojsky Baku, odkud pak začala Rudá armáda upevňovat moc bolševiků. Ještě téhož roku padla do bolševických rukou i Arménie a zbývala už jen Gruzie. Hned brzy v lednu 1921 se pustil do příprav invaze do Gruzie, své domoviny, aby mohl svrhnout menševickou vládu Noeho Žordaniji. I přes mírovou dohodu, kterou Gruzie měla s bolševiky uzavřenou, začal Ordžonikidze v únoru 1921 invazi a v březnu ustanovil Gruzínskou SSR.