Андреј Гречко је рођен у малом месту близу Ростова на Дону као син украјинских сељака. Придружио се Црвеној армији 1919, и био део „Буђонијеве коњице“. Након Грађанског рата, Гречко је уписао коњичку школу у Таганрогу, где је дипломирао 1926. Постао је члан КПСС 1928, и дипломирао на Војној академији Фрунзе 1936. Након тога је похађао Совјетску генералштабну академију, где је дипломирао 1941, само пар недеља пре почетка Операције Барбароса.