Promu au grade de caporal en , il reçoit ensuite une formation dans l'école des cadets de la SS à Brunswick. Il participe à l'Anschluss et est ensuite promu comme sergent-chef, puis comme adjudant et décoré. Weidinger prend également part à l'occupation du territoire des Sudètes, ce qui lui vaut sa seconde décoration, puis à l'invasion des Balkans, au cours de laquelle son unité se rend coupable de massacre par fusillades et pendaisons à Pancevo, avant la prise de Belgrade. Après le déclenchement de l'invasion de l'Union Soviétique, il est promu capitaine, puis commandant du bataillon de reconnaissance de la division. Il fait partie des hommes du dernier groupe de combat engagé dans la retraite d'Ukraine en .