לאחר סיום המלחמה מונה אנדריי גרצ'קו למפקד המחוז הצבאי קייב. בשנים 1953-1957 פיקד על הכוחות הסובייטיים בגרמניה המזרחית. בהיותו מפקד כוחות ברית המועצות בגרמניה ארגן ופיקד על דיכוי המרד המזרח-גרמני. בשנת 1955 הועלה לדרגת מרשל ברית המועצות. בין השנים 1957-1960 היה מפקד זרוע היבשה, ובשנים 1960-1967 כיהן כמפקד עליון של כוחות ברית ורשה.