Na začátku roku 1921 spolupracoval se Stalinem a Sergem Ordžonikidzem na přípravě plánu invaze Rudé armády do Gruzínské demokratické republiky, které vládli Menševici, a to i přesto, že Gruzie uzavřela s Bolševiky mírovou dohodu a získala mezinárodní uznání nezávislosti. Po dobytí Gruzie byla jmenována bolševická vláda, ve které později zaujmul funkci Předsedy lidových komisařů, kterou vykonával od 7. března do dubna 1922. Mdivani se pak v novém politickém prostředí postavil pro nezávislost na moskevské moci a protestoval proti mnohým územním změnám v Zakavkazsku, které zbavily Gruzii některých okresů ve prospěch jiných územně-správních celků Sovětského svazu. Také vyzýval k větší míře tolerance vůči jiným politickým směrům, protože si byl vědom nepopulárnosti bolševiků v Gruzii.