En mayo de 1861, Weber se alistó como voluntario al estallar la Guerra Civil Estadounidense, creando una unidad de germano-estadounidenses conocida como "Turner Rifles", compañía que formó parte del 20º Regimiento de Infantería de Nueva York.