Garnett wurde 1819 auf dem Landsitz "Rose Hill" im Essex County geboren. Sein Cousin war Richard Brooke Garnett, ebenfalls ein späterer General der Konföderierten. Nach seiner normalen Schulausbildung besuchte er die Militärakademie in West Point, New York, die er 1841 erfolgreich abschloss. Anschließend diente er als Leutnant im 4. US-Artillerieregiment und war das erste Jahr an der nördlichen Grenze stationiert, bevor er nach Fort Monroe in Virginia versetzt wurde. Während des Mexikanisch-Amerikanischen Krieg 1846–1848 diente er unter General Zachary Taylor, dem späteren 12. Präsidenten der Vereinigten Staaten, und wurde für Tapferkeit sowohl in der Schlacht von Monterrey vom 21.–23. September 1846 als auch in der Schlacht von Buena Vista am 23. Februar 1847 ausgezeichnet.