Bij de uitbraak van de Amerikaanse Burgeroorlog versterkte hij de verdediging van Cincinnati en Washington en in 1861 werkte hij voor George B. McClellan in diens Army of the Potomac. Hij ging bij de staf van generaal Benjamin Butler als hoofdingenieur in het Department of the Gulf. Na inname van New Orleans werd Weitzel er militair bevelhebber en dienstdoend burgemeester. Hij werd in augustus 1862 bevorderd tot brigadegeneraal. In oktober versloeg hij een grote macht bij Labadieville (Louisiana). Van april tot mei 1863 leidde hij de voorpost van Nathaniel P. Banks in westelijk Louisiana. Hij vocht in het Beleg van Port Hudson.