В начале войны в той же должности на Северо-Западном фронте. Полк в составе дивизии участвовал в приграничном сражении в Прибалтике, затем действовал на псковском и новгородском направлениях. В конце августа 1941 года полк вошел в 40-ю авиадивизию дальнебомбардировочной авиации и действовал на курском, брянском, вяземском, смоленском направлениях. Осенью 1941 года майор Щербаков командовал ночной группой бомбардировщиков, выделенных из состава полка. С апреля 1942 года был назначен командиром 750-го авиаполка АДД в составе 17-й авиадивизии ДД. Полк наносил бомбовые удары по войскам и военным объектам противника на белгородском, орловском, харьковском, полтавском, брянском и смоленском направлениях.Своими сокрушительными бомбовыми ударами по живой силе и технике противника полк подполковника Щербакова А.И. наносил значительные потери фашистским войскам. За проявленную отвагу и мужество, за героизм личного состава приказом НКО № 250 от 18 августа 1942 г. пять полков первыми в АДД были преобразованы в гвардейские. В их числе и 750-й авиаполк дальнего действия, который был преобразован в 3-й гвардейский авиаполк АДД, а позднее стал Краснознаменным. С июня 1943 года полковник Щербаков командовал 2-й гвардейской авиадивизией ДД. В составе 2-го гвардейского авиакорпуса ДД дивизия успешно действовала в Белорусской, Будапештской и Ясско-Кишинёвской наступательных операциях, затем с января 1945 года в составе сформированной из АДД 18-й воздушной армии участвовала в Висло-Одерской, Восточно-Прусской Восточно-Померанской, Кёнигсбергской наступательных операциях.В марте 1945 года генерал-майор авиации Щербаков был назначен заместителем командира 2-го гвардейского бомбардировочного авиакорпуса, который участвовал в Берлинской наступательной операции. В период с декабря 1941 года по май 1945 года Щербаков лично совершил 17 боевых вылетов.