В июне 1941 года Фёдор Ермолов был повторно призван в ряды Красной армии, с того же времени участвовал в боях Великой Отечественной войны. Служил в составе войск Юго-Западного фронта. Принял участие в Киевской и Сумско-Харьковской операциях. Во время боя 28 февраля 1942 года Ермолов получил ранение. В первой половине июля того же года после излечения вернулся на фронт. Служил в составе войск Центрального, 1-го и 4-го Украинских фронтов. Принял участие в битве за Днепр и Львовско-Сандомирской наступательной операции.