La 1st Vermont Brigade est organisée en , principalement grâce aux efforts de major général William F. « Baldy » Smith. Elle est composée des régiments des 2nd, 3rd, 4th, 5th et 6th Vermont Infantry, qui sont rassemblés individuellement pour servir entre juin et septembre, pendant un temps, elle comprend également le 26th New Jersey Infantry. Son premier commandant est le brigadier généralWilliam T. H. Brooks. En , la brigade est incorporée dans l'armée du Potomac en tant que la deuxième brigade de la deuxième division, du corps, et participe d'abord aux combats de la campagne de la Péninsule du major général George B. McClellan lors des batailles de Williamsburg et Savage's Station. Plus tard, elle est présente à Antietam et Fredericksburg. Sous le commandement du brigadier général Lewis A. Grant, les Vermonters combattent lors de la campagne aboutissant à Chancellorsville. Les Vermonters participent à la prise de Marye's Heights du corps lors de la deuxième bataille de Fredericksburg , puis prennent une place prépondérante lors des combats à Salem Church. Ils sont mis en réserve au cours de la bataille de Gettysburg, tenant une position de garde de flanc derrière Big Round Top, perdant seulement un homme blessé. Après la campagne de Gettysburg, des éléments de la brigade du Vermont sont envoyés pour aider à calmer les émeutes de la conscription dans la ville de New York.