Garnett syntyi perheplantaasilla Essex Countyssä Virginiassa. Kuten serkkunsa Richard B. Garnett, Robert meni Yhdysvaltain sotilasakatemiaan West Pointiin New Yorkiin, valmistuen 27. luokkansa 52 kadetista. Seitsemän hänen luokkatovereistaan, mukaan lukien hänen serkkunsa kaatui sisällissodassa. Hänet nimitettiin 2. luutnantiksi 4. USA:n tykistöön heinäkuussa 1841. Hän vietti vuoden pohjoisella rajaseudulla Kanadan rajariitojen aikana palvellen Buffalossa ja Fort Ontariossa New Yorkissa ennen kuin sai komennuksen varuskuntapalvelukseen Fort Monroeen kotiosavaltioonsa Virginiaan. Vuonna1843 Garnettista tuli avustava taktiikkaopettaja West Pointiin ennen kuin hänestä tuli armeijan värvääjä ja leiriadjutantti kenraali John E. Woolille. Garnett palveli Meksikon-Yhdysvaltain sodassa Zachary Taylorin alaisena ja sai hyvästä palveluksesta kaksi väliaikaista ylennystä, yhden Monterreyn ja toisen Buena Vistan taistelussa.