En 1795, Marmont obtient une affectation dans l'artillerie de l'armée du Rhin et il quitte Paris et Bonaparte pour Mayence où l'armée française tente de prendre la ville aux Autrichiens. À la tête d'une batterie de 24 obusiers, Marmont procède au bombardement de la ville assiégée mais assiste, le 29 octobre, à la débâcle de l'armée française et manque de peu d'être pris. Le 10 novembre, Marmont est chargé du commandement de l'artillerie de la division d'avant-garde du général Desaix avec lequel il se lie d'amitié. Il assiste alors à ses premières manœuvres militaires combinées entre l'artillerie, l'infanterie et la cavalerie, lui qui n'avait jusqu'à présent assisté qu'à des sièges ou des combats sporadiques.