След хитлеристкия аншлус на Австрия той успява да избяга от Виена обратно в Румъния. През ноември 1940 г. румънският диктатор Йон Антонеску подписва споразумение за присъединяването на Румъния към Оста Рим – Берлин – Токио. Филип Гершкович, който знае какво точно носи новият световен ред на евреите, веднага се мести в Чернивци, тъй като с присъединяването на Северна Буковина към СССР през 1940 г. градът вече се намира в границите на Украйна. Преподава хармония в музикалния колеж в града, като същевременно продължава да работи като композитор. Там е насрочен дебютът му като диригент – точно за 22 юни 1941 г., когато Германия напада СССР.