В 1796 году принял участие в русском походе на Персию под командованием Валериана Зубова. Отличился при покорении Дербента, за что 3 июня 1796 года награжден орденом Св. Владимира 2-й степени. В июне 1796 года был отправлен в Баку для командования сухопутными войсками, но климат Закавказья оказался губительным для здоровья многих офицеров и нижних чинов, начались болезни. В сентябре 1796 года на острове Сара умер контр-адмирал Н. С. Фёдоров, командир Астраханского порта и Каспийской флотилии. 30 сентября командование над этими войсками Зубов передал графу Апраксину. По его приказу войска и артиллерия начали перевозиться с Сары на полуостров Камышеван. 8 ноября туда отправился и сам Апраксин, где 14 ноября скончался от малярии. 3 декабря 1796 года он был исключен из службы.