Le est ensuite transféré dans le nord de la Virginie en , puis intégré dans l’armée du Potomac et participe ainsi à quelques-unes des plus grandes batailles de la guerre : la seconde bataille de Bull Run, celle d’Antietam, ou encore celle de Fredericksburg. Le régiment subit ses pires pertes lors de la bataille de Chantilly le . Dans la confusion de la bataille qui se déroule dans des bois épais lors d’un orage, il est séparé du reste de son régiment et reste quatre jours sans parvenir à rejoindre le reste de l’armée. Il est alors listé à tort parmi les pertes humaines, et un journal d’Amherst titre sa rubrique nécrologique « Un autre héros disparu ».