Joubert hävisi vuoden 1883 presidentinvaalit itseään vanhoillisemmalle Krugerille, mutta hänestä tuli kuitenkin Krugerin varapresidentti, ja hän oli jälleen virkaatekevänä presidenttinä Krugerin Euroopan-matkan aikana 1883–1884. Joubert olisi halunnut laajentaa Transvaalin aluetta, mutta Kruger vastusti ajatusta. Lisätäkseen vaikutusvaltaansa Joubert liittoutui Transvaalin brittiläisen vähemmistön eli niin sanottujen "uitlandereiden" kanssa, mikä syvensi kiistaa presidentti Krugerin kanssa. Joubert oli Krugerin vastaehdokkaana vielä vuosien 1888, 1893 ja 1898 presidentinvaaleissa, mutta hävisi joka kerralla, vaikkakin vuonna 1893 melko täpärästi. Vuoden 1896 Jamesonin hyökkäyksen jälkeisinä vuosina Joubert yritti sovitella Transvaalin ja Ison-Britannian välejä uuden sodan ehkäisemiseksi. Kun toinen buurisota lokakuussa 1899 syttyi, hänet nimitettiin uudelleen ylipäälliköksi. Hän valitsi sodassa hyvin varovaisen ja defensiivisen strategian. Buurijoukkojen menestys sodan alkuvaiheessa oli pääasiassa muiden komentajien ansiota eikä Joubert saanut hyödynnettyä sen tuomaa etua tehokkaasti. Paardebergin taistelussa helmikuussa 1900 kärsityn tappion jälkeen hän vetäytyi takaisin pääkaupunki Pretoriaan, jossa kuoli kuukautta myöhemmin. Uudeksi ylipäälliköksi tuli kenraali Louis Botha, joka Pretorian kukistumisen jälkeen onnistui jatkamaan sotaa sissisotana vielä lähes kaksi vuotta.