Il reprend par ailleurs du service dans l'armée dès son retour et, promu capitaine, il passe au  (régiment de cavalerie) du Corps d'Armée du maréchal Davout, dont il devient capitaine-adjoint d'État major le . Il est alors affecté au camp de Boulogne où est assemblée la Grande Armée de Napoléon.De 1805 à 1814, Bory suivra la plus grande partie des campagnes de Napoléon dans la Grande Armée. En 1805, il prend part à la campagne d'Autriche comme capitaine de dragons et est présent à la Bataille d'Ulm (15-) et à la bataille d'Austerlitz (). Le capitaine Bory passe ensuite deux ans en Prusse et en Pologne et combattit à la bataille d'Iéna () et à la bataille de Friedland (). Il continue à lever des cartes (de la Franconie et de la Souabe) et lors de ses passages en Bavière, à Vienne et à Berlin, où il trouve ses propres ouvrages traduits en allemand, il en profite pour rencontrer plusieurs savants, comme les botanistes Nikolaus Joseph von Jacquin et Carl Ludwig Willdenow, qui le reçoivent à bras ouverts et le comblent de précieux cadeaux. Il sert à partir d'octobre 1808 dans l'état-major du maréchal Ney, qu'il quitte bientôt pour être attaché au maréchal Soult, duc de Dalmatie, à partir d' en qualité d'aide de camp. Devenu major, Bory s'occupe principalement des reconnaissances militaires grâce à son habileté dans les travaux graphiques. Il participe ainsi de 1809 à 1813 à la campagne d'Espagne et se distingue au siège de Badajoz au printemps 1811, à la bataille de la Quebara et à la bataille de l'Albuera (). Les événements l'ayant placé à la tête des troupes qui formaient la garnison d'Agen, il se trouve commander les soldats de sa ville natale pendant une quinzaine de jours.