בקיץ 1941 נכבשה ליטא בידי הגרמנים. הם ביצעו מעשי טבח המוניים ביער פונאר הסמוך לווילנה, ולאחריהם הקימו את הגטו. הרב ניצל ממוות מספר פעמים, ובמקרה אחד הושבה הרכבת שלקחה אותו לאתר השמדה עקב הפצצת המסילה. הוא פתח בגטו ישיבה במחתרת בדרך נובהרדוק בשם "בית יוסף". הישיבה הגיעה לכ-30 תלמידים שלמדו בתנאים קשים מאוד. בנוסף ללימוד תורה ומוסר, התאמץ מאוד בהצלת נפשות, כשהוא מסכן בכך את חייו והצליח להציל כמה מתלמידיו ממשלוחים להשמדה. ב-1943 הועבר עם תלמידיו הנותרים למחנות באסטוניה ובלטביה. כל העת ניסה להמשיך ללמד במחתרת.