Afganistanista palattuaan Gromov oli Kiovan sotilaspiirin komentajana marraskuuhun 1990, jolloin hänet nimitettiin Neuvostoliiton apulaissisäministeriksi ja kotijoukkojen komentajaksi. Venäjän neuvostotasavallan vuoden 1991 presidentinvaalissa hän oli ehdokkaan Nikolai Ryžkovin varapresidenttiehdokkaana. Elokuun 1991 vallankaappausyrityksen jälkeen hänet nimitettiin Neuvostoliiton maavoimien apulaiskomentajaksi. Vuosina 1992–1994 Gromov oli Venäjän apulaispuolustusministerinä. Hän ja joukko muita kenraaleita varoittivat julkisesti puolustusministeri Pavel Gratšovia lähtemästä ensimmäiseen Tšetšenian sotaan, sillä Venäjän armeija oli valmistautumaton. Sotaa ”barbaariseksi” arvostellut Gromov siirrettiin Venäjän ulkoministeriön sotilaalliseksi asiantuntijaksi.