במרץ 1938 סופחה אוסטריה לגרמניה. התפרצויות אנטישמיות ורדיפות נעשו למנת חלקם של היהודים, וחייהם נעשו לתלויים להם מנגד. יוסף שכטר והוריו לא יצאו מכלל זה. הנאצים תרו אחריו, והוא נאלץ להתחבא מפניהם במקלטים ארעיים. בחודש יוני של אותה שנה עלה בידו לצאת מאוסטריה בדרך-לא-דרך. הוא הגיע לנמל תל אביב בשלהי תקופת העלייה החמישית, בהותירו מאחריו את הוריו (הללו עלו לארץ מאוחר יותר) וכן כתבים רבים שאבדו.