Во время Великой Отечественной войны А. Н. Рыжих — старший инспектор-хирург эвакогоспиталей и главный хирург 3-го Украинского фронта. До декабря 1942 года был старшим хирургом ЭГ-1853 Московского военного округа. Затем служил на Юго-Западном (с октября 1943 — 3-й Украинский) фронте старшим инспектором — врачом-специалистом УФЭП-148, армейским хирургом 8-й гвардейской армии (декабрь 1943 — июль 1944) и помощником главного хирурга фронта. С сентября 1944 года исполнял обязанности главного хирурга этого фронта. В феврале 1945 года был ранен. Участвовал в руководстве хирургами фронта в Сталинградской и Курской битвах. Возглавлял хирургическую службу армии в битве за Днепр и при освобождении Правобережной Украины. Осуществлял организационное и методическое руководство хирургами фронта в Ясско-Кишиневской и Белградской операциях. Был награжден двумя орденами и несколькими медалями.