El 1665 fou derrotat en la Guerra de Restauració portuguesa, per la recuperació del Regne de Portugal per part de la monarquia hispànica, sent desterrat a Consuegra i perdent els favors reials. Quatre anys després recuperà la seva influència a la cort, i posteriorment fou nomenat primer ministre i assessor del seu germà Carles II de Castella. En la seva labor va enfrontar-se, obertament, a la reina vídua Maria Anna d'Àustria (muller de Felip IV) per l'excés de protagonisme d'aquesta a la Cort i confinant-la a Toledo. Fou el mateix Joan Josep qui concertà el matrimoni entre el rei castellà i Maria Lluïsa d'Orleans, neboda de Lluís XIII de França.