Mosby meni vuonna 1849 Virginian yliopistoon. Hän ampui kolmantena opiskeluvuonna kaksintaistelussa George R. Turpinia niskaan ja oli päätyä hirteen. Sisällissodan alussa hän liittyi etelävaltioiden armeijaan ja palveli kenraali William "Grumble" Jonesin komentamissa kiväärimiehissä. Hän otti Virginian vapaaehtoisjoukoissa osaa ensimmäiseen Bull Runin taisteluun. Hänestä tuli yliluutnantti Jeb Stuartin ratsuväkitiedustelijoihin, ja hän suunnitteli Stuartin ratsastuksen McClellanin armeijan ympäri Virginian niemimaan taistelujen aikana 1862. Hän jäi Unionin vangiksi ja oli kymmenen päivää Old Capitolin vankilassa. Hän vakoili etelävaltioiden laskuun ja vankienvaihdon jälkeen vei tietonsa henkilökohtaisesti Robert E. Leelle. Tammikuussa 1863 Lee ja Stuart antoivat Mosbyn komentoon 43. Virginian ratsuväkipataljoonan partisaanijoukot. He saivat erityiset sissijoukkoja koskevat säännöt konfederaation hallinnolta, toteuttivat Greenbackin ryöstöretken ja hyökkäsivät Philip Sheridanin kärryvankkurien kimppuun.