Nach dem „Anschluss“ Österreichs an das nationalsozialistische Deutsche Reich flüchtete Löbel mit seiner Frau am 27. April 1938 von Wien nach Prag. Der Sohn Peter studierte seit 1937 in Prag und der Sohn Karl war am 17. März 1937 nach Schottland emigriert. Peter flüchtete 1939 über Polen nach England. Josef Löbel versuchte vergeblich bis 1942 zu emigrieren. Durch den Einmarsch der deutschen Truppen in der restlichen Tschechoslowakei am 15./16. März 1939 waren diese Versuche noch erschwert und dann ergebnislos. Josef Löbel wohnte mit seiner Ehefrau Leontine Löbel, geb. Glücklich, im Mai 1941 in der Prager Londoner Straße 6, die jedoch von den Besatzern in Münchener Straße (Mnichovska) umbenannt wurde. Leontine Löbel wurde am 12. Februar 1942 nach Theresienstadt deportiert. Ihr Mann war wegen einer diagnostizierten Tuberkulose freigestellt worden – er vergiftete sich aber im Mai 1942. Er wurde auf dem Neuen Jüdischen Friedhof in Prag beigesetzt (ohne Grabstein – Nummer 32/11/4). Am Tag seiner Beisetzung (27. Mai 1942) erfolgte auch das Attentat auf Heydrich.