В июне 1942 года переведён на Черноморский флот и назначен заместителем командира 36-го минно-торпедного авиаполка 63-й тяжелой бомбардировочной авиабригады ВВС флота, а в июне 1942 года назначен командиром полка. Под его командованием полк участвовал в обороне Севастополя, в авианалётах на Ялту и другие базы легких военно-морских сил Германии и её союзников в Крыму, в битве за Кавказ, в борьбе с немецко-румынским судоходством на Чёрном море, в бомбардировках Констанцы, в Новороссийско-Таманской и Крымской наступательных операциях. В мае-июне 1944 года полк был перебазирован на Северный флот, где участвовал в Петсамо-Киркенесской наступательной операции. С ноября 1944 по март 1945 года подполковник А. Я. Ефимов командовал 5-й минно-торпедной авиационной дивизией ВВС Северного флота, которая вела борьбу с немецким судоходством на Баренцевом море и у берегов Норвегии. Затем опять вернулся на должность командира 36-го мтап.