W 1920 stanął na czele sekcji zakaukaskiej Biura Kaukaskiego (Kawbiura) Rosyjskiej Komunistycznej Partii (bolszewików) i w tym charakterze kierował ruchem bolszewickim w Demokratycznej Republice Gruzji. Odegrał znaczącą rolę w podboju Zakaukazia przez Rosję Radziecką. W kwietniu 1920 brał udział w radzieckim podboju Azerbejdżanu, a po militarnym opanowaniu Baku wprowadził zmasowane represje przeciwko przywódcom obalonej Demokratycznej Republiki Azerbejdżanu. Następnie brał udział w podboju Armenii i pierwszej próbie aneksji Gruzji w maju 1920. Na polecenie Lenina została ona jednak przerwana z powodu klęsk bolszewików w wojnie z Polską. Wspólnie z Siergiejem Kirowem, przedstawicielem Rosji Radzieckiej w Gruzji i z poparciem Stalina przekonał Lenina do ostatecznej aneksji Gruzji, przedstawiając 2 stycznia 1921 memoriał w tej sprawie. Ordżonikidze twierdził, że funkcjonowanie demokratycznego państwa gruzińskiego szkodzi interesom bolszewickim na Kaukazie, negatywnie oddziałując na radziecką Armenię i umacniając znaczenie Turcji. Zgodę Lenina na podjęcie inwazji na Gruzję uzyskał 14 lutego 1920. 25 lutego tego samego roku to on poinformował Lenina o zajęciu Tbilisi i proklamowaniu Gruzińskiej Socjalistycznej Republiki Radzieckiej. Następnie wszedł do komunistycznego rządu gruzińskiego. Nieoficjalnie kierował tworzeniem gruzińskich jednostek Armii Czerwonej. W latach 1922–1926 był pierwszym sekretarzem Komitetu Centralnego Komunistycznej Partii Zakaukaskiej FSRR.