En los años siguientes, vivió tranquilamente en el Archiducado de Austria. Después del estallido de la Guerra de los Siete Años (1756-1763), en la primavera de 1757, José fue seleccionado como Comandante del Ejército Imperial, con órdenes de avanzar contra el rey Federico II de Prusia. Junto a un Cuerpo Francés, el Ejército Imperial fue derrotado en la Batalla de Rossbach (5 de noviembre de 1757). José, avergonzado por la derrota, decidió renunciar a todas las funciones militares. En la evaluación por posteriores historiadores el príncipe era casi siempre culpado por la derrota, aunque difícilmente podría haber cambiado el resultado del combate, debido a las catastróficas condiciones del Ejército Imperial y la inefectividad de la tropas francesas. Más bien simbólico fue su elección al puesto de "Mariscal de Campo del Ejército Imperial" (9 de noviembre de 1785), con el que terminó la carrera militar de José. Murió poco después.