Kort tid etter at borgerkrigen startet ble Franklin utnevnt til oberst i 12th US Infantry, men tre dager senere, den 17. mai 1861, ble han forfremmet til frivillig brigadegeneral. Han steg raskt fra kommando over brigade til korps i Army of the Potomac og deltok i Peninsula-felttoget, slaget ved Antietam og slaget ved Fredericksburg. Han ble forfremmet til generalmajor den 4. juli 1862. Ved Antietam var hans VI Corps i reserve, og han forsøkte forgjeves å overbevise generalmajor Edwin Vose Sumner å la hans korps utnytte den svekkede stillingen i de konføderertes sentrum. Ved Fredericksburg ledet han «Left Grand Division» (to korps under generalmajorene John F. Reynolds og William Farrar Smith) som mislyktes i sine angrep på de konføderertes høyre flanke ledet av generalløytnant Thomas J. «Stonewall» Jackson. Kommandanten for Army of the Potomac, generalmajor Ambrose Burnside, la senere skylden på Franklin personlig for dette, selv om det ser ut til at han utførte ordrene nøyaktig slik han hadde fått dem.