Après l'échec de la mission en Irak, Felmy est nommé commandant des groupes armés du sud de la Grèce. De 1942 à 1943, il resta en Grèce et commanda le « déploiement spécial » ("zur besonderen Verwendung", ou z. b. V.) unité nommée après lui (z. b. V. Felmy). De 1943 à 1944, il commanda le corps d'armée de l'armée allemande. À la fin de l'année 1944, celui-ci est déplacé en Yougoslavie. De 1944 à 1945, Felmy commanda le corps d'armée qui est écrasé durant la fin de la guerre en Yougoslavie en 1945.