Gretsjko sluttet seg i 1919 til Den røde armé, der han tilhørte kavaleriet under Semjon Budjonnyj. Etter den russiske borgerkrigen begynte han ved Den 6. kavaleriskole i Taganrog, der han gikk ut i 1926. I 1928 ble han medlem av Kommunistpartiet. Gretsjko gikk i 1936 ut av Militærakademiet Frunze. Han studerte deretter ved Det sovjetiske generalstabsakademiet, der han gikk ut i 1941, bare få uker etter at Tysklands angrep på Sovjetunionen.