В 1695 и 1696 годах он был одним из русских военачальников в Азовских походах, наряду с А. М. Головиным и Ф. Лефортом, причем руководил осадными работами, исполняя обязанности инженер-генерала. Гордон был главным инициатором взятия этой крепости с помощью «подвижного» земляного вала в 1696 году.