Joubertin isä oli köyhä maanviljelijä ja lähetyssaarnaaja, joka muutti suuren vaelluksen yhteydessä vuonna 1837 Natalin pohjoispuolelle. Perhe asettui myöhemmin Transvaalin Rustfonteiniin. Joubertin koulutus oli vaatimaton, mutta hän oli itseoppinut laintuntija ja menestynyt liikemies. Hänet valittiin Transvaalin parlamenttiin eli Volksraadiin ensi kerran vuonna 1860. Joubert nimitettiin 1870 Transvaalin yliprokuraattoriksi ja hän toimi virkaatekevänä presidenttinä presidentti Thomas François Burgersin oleskellessa Euroopassa vuosina 1875–1876. Kun Iso-Britannia vuonna 1877 julisti Transvaalin kruununsiirtomaakseen, Joubertista tuli yksi brittivaltaa vastustaneen liikkeen johtajista. Aluksi hän yritti yhdessä Paul Krugerin kanssa ratkaista asian neuvottelemalla, mutta kun tämä ei johtanut tuloksiin, buurit aloittivat joulukuussa 1880 aseellisen kapinan ja antoivat itsenäisyysjulistuksen. Kenraalikomendantiksi nimetty Joubert toimi Transvaalin armeijan ylipäällikkönä seuranneessa ensimmäisessä buurisodassa. Hän löi britit tammi–helmikuussa 1881 Laing’s Nekin, Schuinshoogten ja Majubavuoren taisteluissa, ja osallistui sodan jälkeen Pretorian rauhanneuvotteluihin, joiden tuloksena Transvaalin itsenäisyys palautettiin.