Tras la Guerra Civil Rusa, Grechko ingresó en el Instituto del 6º de Caballería, en la ciudad de Taganrog, donde se graduó en 1926.