Zu Beginn des Krieges half er entscheidend bei der Rekrutierung des "2. New York Volunteer Infantry Regiment" mit. Am 14. Mai 1861 ernannte man ihn zum Colonel des Regiments. Er wurde Fort Monroe (Virginia) zugeteilt. In der Folgezeit nahm das Regiment an dem Gefecht bei Big Bethel teil. Carr diente in der Army of the Potomac während des Halbinsel-Feldzuges und der Sieben-Tage-Schlacht sowie des Nord-Virginia-Feldzuges. Als Brigadekommandeur im III. Korps nahm Carr an den Schlachten von Fredericksburg und Chancellorsville teil. Er kommandierte eine Division während eines Teils der letzten Schlacht, nachdem Hiram Gregory Berry den Tod fand.