Josef Ferdinand forble i kommandoen over tyske militære styrker frem tidlig i juni 1916. På denne tiden lanserte den russiske generalen Aleksej Brusilov en offensiv, kjent som Brusilovoffensiven som førte til at de tyske skyttergravene ble nærmest utslettet av det russiske bombardementet og de tyske tropper overga seg til de fremrykkende russiske styrkene. I lys av dette massive tilbakefallet insisterte den tyske overkommandoen på at Josef Ferdinand ble fjernet fra kommandokjeden. Dermed gikk erkehertugen inn i en militær pensjonisttilværelse, og han ble erstattet av en annen general.