הישיבה הוקמה בשנת ה'תרל""ז (1877) בסלובודקה, פרבר של קובנה שבליטא. באמצע שנות העשרים של המאה ה-20 החליטו ראשיה להעביר חלק ניכר ממנה לארץ ישראל. בשנת ה'תרפ""ד (1924) הוקם סניף של הישיבה בחברון שבארץ ישראל המנדטורית, שאליו הצטרפו בהמשך ראשי הישיבה. לאחר מאורעות תרפ""ט (1929) שבהם נהרגו חלק מתלמידי הישיבה עברה הישיבה לשכונת גאולה בירושלים. משם עברה הישיבה לשכונת גבעת מרדכי, שם היא שוכנת עד היום.