Nel 1941 Phleps si unì alla Germania nazista ed entrò a far parte delle Waffen-SS diventando rapidamente uno degli ufficiali più stimati e capaci della forza armata di Heinrich Himmler. Dopo aver combattuto come ufficiale superiore nella 5. Divisione SS "Wiking" sul Fronte orientale, nel 1942 organizzò e comandò sul Fronte jugoslavo la famosa 7. SS-Freiwilligen-Gebirgs-Division "Prinz Eugen" formata da tedeschi "etnici" (principalmente svevi del Danubio), con la quale si distinse per energia e determinazione nella guerra antipartigiana, mostrando però a volte anche un comportamento brutale e violento. Nel 1943 venne nominato al comando del V SS-Freiwilligen-Gebirgskorps con il quale continuò a combattere accanitamente contro i partigiani jugoslavi fino all'estate 1944.