Quand la Grande Armée est formée, Dupont obtient le commandement de la du sous Ney, et il passe le Rhin à Lauterbourg le . Le général autrichien Mack a pris position à Ulm, sur le haut-Danube, attendant les Français par la Forêt-Noire, alors que ceux-ci passent le Danube à Donauworth, tournant ainsi les Autrichiens et les séparant des Russes campés près de Vienne sous le commandement de Koutouzov. Pendant que Napoléon ferme ainsi aux Autrichiens la retraite du Tyrol et se prépare à livrer une grande bataille sur l'Iller, il confie à Dupont la garde de la rive gauche du Danube. Cette position, apparemment sans importance, peut se révéler dangereuse, si le général Mack songe à s'échapper d'Ulm de ce côté, en écrasant la faible division de de Dupont. Celui-ci, en s'approchant d'Ulm, se trouve tout à coup en présence de Autrichiens établis sur la colline de Michealsberg et au village de Haslach. Dupont ne dispose que de trois régiments d'infanterie, deux de cavalerie et quelques pièces de canon. Le général français comprend qu'une retraite risquerait de révéler sa faiblesse aux Autrichiens, qui ne manqueraient pas alors de le culbuter et de s'échapper ainsi. Il choisit donc au contraire d'attaquer pour faire croire à ses adversaires qu'il est à l'avant-garde d'un corps puissant. Avec ses , Dupont engage le combat avec Autrichiens commandés par l'archiduc Ferdinand d'Autriche. Les Français rencontrent d'abord du succès et font prisonniers, mais l'archiduc, renonçant à une attaque de front, s'emploie à contourner les deux ailes de la petite armée. Sur la droite de Dupont, le petit village de Jungingen est pris et repris cinq fois. Après cinq heures d'affrontement, Dupont est contraint de se retirer sur Albeck, emmenant avec lui prisonniers.