בחודש אלול של אותה שנה השתכנה הישיבה בבית הכנסת ""אחווה"" בירושלים ושכרה דירות לתלמידים. הרב סרנא נסע לאסוף כספים בחו""ל על מנת להקים מבנה לישיבה. בשנת תרצ""ד 1934 נפטר הרב אפשטיין ומאז הנהיג את הישיבה הרב סרנא, כשעמו משמשים גיסיו, הרב אהרן כהן והרב משה חברוני, כראשי ישיבה. בשנת תרצ""ו נפטר גם הרב חסמן, ובמקומו נתמנה הרב מאיר חדש למנהל הרוחני. בשנת תרצ""ט נחנך היכל הישיבה החדש בשכונת גאולה. בתקופה זו הצטרפו לישיבה גם צעירים בני היישוב הישן וחסידים, כמו הרב דוד משה טעפ והרב משה צבי הולצברג (שניהם לימים ראשי ישיבת קרלין) וכן הרב שמואל ישכר רוזנגרטן, לימים ראש ישיבות בעלז. חלק מתלמידי הישיבה, ואף ראש הישיבה הרב אהרן כהן, התקרבו לחבורת שומר אמונים, למורת רוחו של הרב סרנא[דרוש מקור]. בהמשך, לאחר שמונה רבי ישראל אלתר לאדמו""ר מגור, הלכו רבים מתלמידי הישיבה לחצרו, וחלקם הפכו לחסידים של ממש, בהם הרב מרדכי חברוני, לימים ר""מ בישיבה.