בשנת תרנ"ד מינהו הרב נתן צבי פינקל, לימים מחותנו, לעמוד בראש הישיבה שייסד - ישיבת סלבודקה, יחד עם גיסו - הרב מלצר. מאוחר יותר עבר הרב מלצר כדי לעמוד בראשות ישיבת סלוצק. לצד אמירת השיעורים היה אחראי על הניהול הכספי וגיוס התרומות. במהלך מלחמת העולם הראשונה נדד עם ישיבתו למינסק ולקרמנצ'וג ובשנת 1919 שב לסלבודקה. בעת המחלוקות על שיטת המוסר שניטשו בישיבה עמד לימינו של הרב פינקל. במקביל שימש גם כרב הפרבר הקובנאי סלבודקה. בסוף שנת 1924 הוחלט להעלות את תלמידי הישיבה לארץ ישראל. חברון נבחרה בשל היותה מקום מרוחק מפוליטיקה ומחלוציות חקלאית. בנוסף, אנשי היישוב הישן השמרנים בירושלים לא רצו בקרבתם ישיבה שתלמידיה בעלי הופעה מודרנית. הישיבה נקראת עד היום ישיבת חברון. הרב אפשטיין שהה אז בארצות הברית במסע התרמה למען הישיבות, עם הרב קוק והרב שפירא מקובנה. מאוחר יותר הוא עלה לחברון, ושהה בה כשנה. אחר כך חזר לסלבודקה לנהל שם את ענייני הישיבה, ושוב חזר לחברון. בפרעות תרפ"ט נרצחו 24 מתלמידי הישיבה, בהם אחיינו אהרן דוד אפשטיין מארצות הברית שהיה כבן 15. הרב אפשטיין, משפחתו וכל מי שהסתתר בביתו ניצל. הטבח בחברון שבר אותו נפשית, והוא חדל כמעט מלתפקד. ההנהגה נמסרה לחתנו הרב יחזקאל סרנא שהקים מחדש את הישיבה בירושלים, בשכונת גאולה.