In der Schlacht um Budapest wurde Gilles IV. SS-Panzerkorps an Heiligabend 1944 zum Entsatz der von der Roten Armee eingeschlossenen Stadt nach Ungarn verlegt. Der Entsatzangriff begann am Neujahrstag 1945, blieb aber bereits nach wenigen Tagen aus Mangel an Treibstoff und Munition stecken. Ein zweiter Versuch kam etwa 20 Kilometer vor Budapest zum Stehen, weil die deutschen Angriffspitzen durch einen sowjetischen Gegenangriff beinahe abgeschnitten worden wären. Mit dem Befehlshaber der 6. Armee, General der Panzertruppe Hermann Balck, stritt sich Gille wenig später darüber, ob ein weiterer Vorstoß noch möglich gewesen wäre. Balck äußerte später die Vermutung, dass Gille von Heinrich Himmler zum „Retter von Budapest“ aufgebaut werden sollte.