В конце января — начале февраля 1944 года Гилле командовал своей дивизией во время боёв в окружении под Корсунь-Шевченковским — тогда в «котле» оказались 2 немецких армейских корпуса (11-й и 42-й) с 9-ю дивизиями, насчитывавшие в общей сложности 54 тысячи человек. Резко выступил против капитуляции, предложенной советским командованием, руководил прорывом немецких войск из окружения в ночь с 16 на 17 февраля 1944 года. Советская и западная историография оценивали результаты этих событий крайне противоречиво. В советской литературе утверждалось, что прорваться из окружения удалось двум-трём тысячам немецких военнослужащих, причём Гилле вёл себя недостойно. По словам Маршала Советского Союза Ивана Степановича Конева,