הישיבה נוסדה בשנת תרס"ו (1906) על ידי הרב חיים יהודה לייב אוירבך והרב שמעון צבי הורוביץ, אנשי היישוב הישן. הרב נסים נחום שרצה להקים ישיבה אשכנזית ללימוד תורת הרש"ש תמך בה מבחינה כלכלית. בתחילה שכנה הישיבה בירושלים העתיקה וניזוקה קשות ברעידת האדמה בארץ ישראל (1927). לאחר נפילת הרובע היהודי במלחמת העצמאות הציתו הירדנים את הישיבה על תכולתה, בניגוד לחוק הבינלאומי. לאחר קום המדינה נדדה הישיבה לשכונות קטמון ובית ישראל ולבסוף קבעה את משכנה בבית הכנסת "אהל אברהם" ברחוב רשב"ם. בשנת 1992 תרם איש העסקים רובי שראן סכום כסף נכבד לקניית בניין ברחוב רש"י בשכונת מקור ברוך בירושלים, עבור הישיבה.