Андрей Ермаков родился 14 октября 1904 года в селе Успенское (ныне — Пензенской области). После окончания четырёх классов сельской школы работал в отцовском хозяйстве. В 1926 году Ермаков был призван на службу в Рабоче-крестьянскую Красную Армию. Окончил полковую школу, в 1930 году — Иркутские командные пехотные курсы. Служил на различных должностях в стрелковых частях. К маю 1939 года капитан Андрей Ермаков командовал 2-м батальоном 149-го мотострелкового полка 36-й мотострелковой дивизии 1-й армейской группы. Отличился во время боёв на реке Халхин-Гол.