José chegou ao fim da Guerra de Sucessão da Polónia na posição de "Feldzeugmeister" (25 de Setembro de 1736). Apenas um ano depois, durante a Guerra Russo-Turca (1735–1739), foi nomeado comandante do Corpo Austríaco. Em 1737, falhou a sua tentativa de conquistar Banja Luka, mas José mostrou grande coragem pessoal em todos os outros confrontos da guerra, por exemplo, durante a Batalha de Grocka (a 22 de julho de 1739), na qual foi responsável por cobrir o exército imperial durante a sua retirada.