Under Tysklands fälttåg mot Polen i september 1939 tillhörde Gille ett artilleriregemente inom SS-Verfügungstruppe. I maj 1943 blev han på östfronten befälhavare för 5. SS-Panzer-Division Wiking, som hyste soldater från bland annat Sverige, Danmark, Norge och Finland. Gille utmärkte sig särskilt i slaget vid Korsun-Tjerkassy-fickan i början av 1944. I januari året därpå kommenderades han som befälhavare för IV. SS-Panzerkorps för att undsätta det av Röda armén belägrade Budapest. Detta lyckades dock inte. Gille och IV. SS-Panzerkorps deltog även i den misslyckade Operation Frühlingserwachen, Tysklands sista offensiv under andra världskriget.