В межвоенный период с октября 1921 года А. А. Гречкин служил в Северо-Кавказском военном округе в 37-й отдельной стрелковой бригаде (Новочеркасск) помощником командира бригады. С декабря 1921 — командир 111-го стрелкового полка 31-й отдельной стрелковой бригады. С июня 1922 года — помощник командира 37-го стрелкового полка 13-й стрелковой дивизии этого же округа (Махачкала), с июля 1923 года — командир Ростовского отдельного караульного батальона. С июня 1924 года — помощник командира и временно исполняющий должность командира 64-го стрелкового полка 22-й стрелковой дивизии СКВО (Армавир). В 1926 году окончил Стрелково-тактические курсы усовершенствования комсостава РККА «Выстрел» имени Коминтерна. С июля 1926 года — командир 9-го Туркестанского стрелкового полка 3-й Туркестанской стрелковой дивизии. В апреле-июле 1931 года, командуя полком, участвовал в борьбе против басмачества в Туркестане. С января 1932 года — помощник командира и временно исполняющий должность командира 15-й стрелковой дивизии Украинского военного округа. 26 ноября 1935 года при введении персональных воинских званий начальствующего состава РККА А. А. Гречкину присвоено звание «комбриг». С марта 1936 года — начальник отдела военной подготовки учащихся в Киевском военном округе. С сентября 1938 года — помощник командира 13-го стрелкового корпуса. В 1939 году окончил Курсы усовершенствования высшего начальствующего состава при Академии Генерального штаба РККА. Участвовал в походе РККА в Западную Украину в сентябре 1939 года, находился в распоряжении Военного совета Украинского фронта.