Under Tysklands felttog mot Polen i september 1939 tilhørte Gille et artilleriregiment innen SS-Verfügungstruppe. Den 1. mai 1943 ble han på Østfronten kommandant for 5. SS-Panzer-Division Wiking, som blant sine styrker hadde frontkjempere fra Sverige, Danmark, Norge og Finland. Gille utmerket seg særskilt i slaget ved Korsun-Tsjerkassy-lommen i begynnelsen av 1944. I januar året derpå ble han gjort til kommandant for IV. SS-Panzerkorps for å unnsette det av Den røde armé beleirede Budapest. Dette maktet han imidlertid ikke. Gille og IV. SS-Panzerkorps deltok også i den mislykkede Operasjon Frühlingserwachen, Tysklands siste offensiv under andre verdenskrig.