Bij het uitbreken van de Amerikaanse Burgeroorlog sprak Mosby zich uit voor de secessie en ging hij het leger in van de Geconfedereerde Staten als soldaat. Hij vocht met de Virginia Volunteers mee in de Eerste Slag bij Bull Run. Door zijn buitengewone vaardigheden en intelligentie kreeg hij de belangstelling van J.E.B. Stuart. Begin 1862 werd hij gepromoveerd tot eerste luitenant en kreeg hij een plek bij de cavalerieverkenners van Stuart. Hij werd gevangen genomen door de Unie en korte tijd zat hij gevangen in de Old Capitol Prison in Washington D.C. voor hij voorwaardelijk werd vrijgelaten.