Mzjavanadze arbeidet i Den røde armé som politisk kommissær under andre verdenskrig. Etter krigen ble han utnevnt til nestleder for politiske saker i Kiev militære distriktet i Ukraina i administrasjonen til den ukrainske kommunistpartiets leder, og senere sovjetiske leder, Nikita Khrusjtsjov. Georgia var på denne tiden styrt av Lavrentij Berija, som hadde vært den første sekretæren for det georgiske kommunistpartiet fra 1931 til 1938.