За время службы Анатолий Косов неоднократно отличился в боях с фашистскими захватчиками, проявил личное мужество. Прошёл трудный боевой путь от обороны Москвы до штурма Берлина, участвовал в битвах под Курском, и за Днепр, участвовал в освобождении оккупированных территорий РСФСР (в том числе — города Орёл и Орловской области), Прибалтики, Белорусской ССР, Польши, штурмовал Восточную Пруссию и Германию, участник битвы за Берлин. Не раз был ранен и контужен. Войну закончил в звании гвардии старшего сержанта.