W 2004 roku Aristide został po raz drugi obalony. Jean-Juste ponownie znalazł się w opozycji wobec wspieranego przez USA rządu tymczasowego, na którego czele stanął Gérard Latortue. W 2004 został aresztowany, pod zarzutem ukrywania żołnierzy przychylnych dla obalonego prezydenta Aristida.