Während des Konflikts zwischen Präsident Boris Jelzin und dem Obersten Sowjet Anfang Oktober 1993 kam Gromow erneut in Schwierigkeiten, als er bis zur Erstürmung des Weißen Hauses in Moskau Kontakte auch zu Jelzins Gegenspielern unterhielt. Schließlich kam es zum Bruch mit seinem Vorgesetzten, Verteidigungsminister Gratschow wegen unterschiedlicher Auffassungen über die Militärdoktrin und den Krieg in Tschetschenien.