Александр Ермолаев родился 7 января 1906 года в Златоусте в семье железнодорожника. В детстве сменил несколько мест проживания, жил в Златоусте, Красноярске, Новосибирске. Получил неполное среднее образование, после чего работал старшим учётчиком статистического отдела Сибирского края. В 1928—1930 годах проходил службу в Рабоче-крестьянской Красной Армии. Участвовал в конфликте на КВЖД. В 1930 году Ермолаев окончил курсы по подготовке пехотных командиров в Иркутске, после чего служил в штабе Сибирского военного округа. С июля 1942 года — на фронтах Великой Отечественной войны, в тот же месяц был ранен. В марте 1943 года окончил курсы «Выстрел», после чего вернулся на фронт. Принимал участие в боях на Воронежском и 1-м Украинском фронтах, командовал 565-м стрелковым полком 161-й стрелковой дивизии 40-й армии Воронежского фронта. Участвовал в Курской битве. Отличился во время битвы за Днепр.