Während des Zweiten Weltkriegs musste Weber auch Militärdienst leisten. Er wurde dem 133. Infanterie-Regiment der 45. Infanterie-Division der Wehrmacht zugeordnet, die zu diesem Zeitpunkt in Polen stationiert war und sich auf Kämpfe mit der Sowjetunion vorbereitete. Dort erlebte er die unfassbare Grausamkeit gegenüber den Juden aus nächster Nähe. Bis zum Sommer 1944 war die Einheit, in welcher Weber diente, relativ unbeeinflusst durch die NSDAP geblieben. Dies änderte sich nach dem Attentatsversuch auf Hitler jedoch drastisch. Bis dahin fühlte sich Weber seiner Einheit verpflichtet. Ende 1944 wurde Webers Einheit nach Italien verlegt, wo sich ihm die Möglichkeit bot, zu den Amerikanern überzulaufen. Die Desertion war ein großer Schritt für ihn. Als er seine Mitschuld an den schweren Verbrechen der Nationalsozialisten erkannte, übernahm er willentlich riskante Aufgaben.