ב־1931 עבר הרב גרוסברד לכהן בראשות ישיבה גדולה שהוקמה אז בריגה. במקומו הזמין הרב כהנמן את הרב משה דוב צפתמן, שכיהן עד אז כמשגיח ישיבת קלצק, ועם בואו לפוניבז' התמנה למנהל הרוחני הרשמי של כל מוסדות הישיבה. במקביל הורחבה ה"מכינה" לכדי תלמוד תורה לכל גילאי בית הספר היסודי, והוקם גם גן ילדים. כדי להשלים את היצע החינוך החרדי בעיר ולהציע אלטרנטיבה לגימנסיות של רשתות החינוך "יבנה" ו"תרבות", הקים הרב כהנמן גם סמינר לבנות במתכונת בית יעקב ונקרא "בית יעקב" על שם התורם, יעקב לוריא, יהודי ליטאי דרום-אפריקני תושב בלומפונטיין.
בשיאה מנתה הישיבה כ־400 בחורים, והמוסדות כולם 1008 תלמידים ותלמידות. מרבית תלמידי הישיבה נרצחו במהלך השואה.
חורבן פוניבז' והישיבה.
בעקבות הסכם ריבנטרופ–מולוטוב (1939) והשתלטות ברית המועצות ביוני 1940 על ליטא, הורע המצב במדינה כולה. הרב כהנמן נסע בשליחות הממשלה הליטאית החדשה במטרה להשפיע על הממשל בארצות הברית להעניק אשרת כניסה לכ־5,000 פליטים, אולם בדרך הוא השתכנע שהשליחות נועדה לכישלון. הוא חשש לחזור לליטא כי הוזהר מפני כוונות הקומוניסטים לחסל את האליטה היהודית במדינה, ולכן החליט לעלות לארץ ישראל.
המברק האחרון שהתקבל בתל אביב מבני הישיבה, נשלח שבוע לפני תחילת מבצע ברברוסה (יוני 1941), בידי הרב אשר קלמן ברון. הוא כתב: . הנאצים נכנסו לפוניבז' ב־2 באוגוסט 1941 (ראש חודש אב ה'תש"א). הם השתלטו על בניין הישיבה והקימו בו את המטה הצבאי. בחורי הישיבה שבו לבית המדרש של 'גליקל'ס קלויז', אך גורשו ממנו לבית הכנסת הגדול של העיר. יהודים רבים נכלאו, ואלו שנשארו חופשיים הוצאו מבתיהם ונתחמו לאזור קטן שהוקצה לגטו. ב־22 באוגוסט נערכה בכיכר העיר התעללות המונית ביהודים שכונתה "מחול שדים", במחול זה עונו עשרות מבחורי הישיבה והרבנים ברון וצפתמן.
בספטמבר החלה השמדה שיטתית של יהודי העיר בידי אנשי משטרת העזר הליטאית בבורות הריגה ביער פאיאסט הסמוך, שם נרצחו מאות תלמידי ישיבת פוניבז' והישיבה הקטנה "בית רובינשטיין", למעט חמישה או שישה ששרדו, וכן כל צוות הישיבה ובראשם הרב משה דב צפתמן, והרב ברון ומשפחותיהם, הרבנית פייגה כהנמן עם בתה ושני בניה ואמה הרבנית דינה רובין.
בארץ ישראל.
שנים ראשונות.
הרב כהנמן, שכאמור עלה לארץ ישראל ב־1940, החליט לייסד את הישיבה מחדש. החשיבות המיוחדת שראה לשיקום לימוד התורה לאחר השואה מתבטאת בפסוק שהציב בפתח בניין הישיבה כמוטו: . בראש בניין "אוהל קדושים" שלמרגלות הישיבה נכתב פסוק ברוח דומה: .
הישיבה נוסדה בה' בכסלו תש"ד (2 בדצמבר 1943) ושוכנה באופן זמני בבית הכנסת "הליגמן" שבמרכז העיר. בעת פתיחתה למדו בה שבעה תלמידים, בהם האחים הרב גרשון אדלשטיין והרב יעקב אדלשטיין, הרב חיים פרידלנדר והרב אורי שרגא קלרמן. כמו כן הצטרפו שלא מן המניין גם רבי נסים קרליץ ואחיו יהושע תנחום. לראש ישיבה מונה הרב שמואל רוזובסקי, שעד אז היה ר"מ בישיבת לומז'ה, ולמשגיח הרב אברהם אבא גרוסברד שכאמור כיהן עוד בליטא (ה'תרפ"ה, 1925 – ה'תרצ"ז, 1937) כר"מ ומנהל רוחני בישיבה, והצליח לעלות לארץ ישראל.
בחורף תש"ה מנתה הישיבה כ־70 תלמידים. בחורף זה הובא ראש ישיבה נוסף, הרב דוד פוברסקי, שכיהן עד אז כר"מ בישיבת אחי תמימים בתל אביב.
הקמת הישיבה מחדש בארץ ישראל בישרה למעשה על השלב השני של העתקת עולם הישיבות הליטאי לארץ ישראל. בשלב הראשון עלו סניפי ישיבת כנסת ישראל (ישיבת חברון) וישיבת לומז'ה, ב־1924 וב־1926 בהתאמה. ישיבות אלו היו תלויות לפחות בתחילת דרכן, במורשתן ובכלכלתן, בישיבות־האם שנותרו באירופה. ישיבת פוניבז' הייתה הראשונה בגל ישיבות שהתחדשו בארץ ישראל בשנים הבאות: ישיבת סלובודקה שראשיה עלו לבני ברק, ישיבת סלונים שהוקמה מחדש ברמת גן וישיבת מיר שחלק מתלמידיה הגיע משאנגחאי לירושלים. שלמה טיקוצ'ינסקי, סבור כי ישיבת פוניבז', שרוב ככל תלמידיה היו בני היישוב החדש, "רוקנה" עם הצלחתה את הישיבות הקטנות יחסית שפעלו ביישוב עד אז, והביאה בפועל לסגירתן של כמה מהן.
משכן קבע.
הנחת אבן הפינה לישיבה, נעשתה בטקס צנוע. הרב יוסף שלמה כהנמן והרב אברהם ישעיהו קרליץ, ה"חזון איש", יצקו יחד כף מלט. על מעמד זה, שנערך בעוד השואה מתחוללת באירופה, אמר הרב כהנמן לימים: .
באלול תש"ה עברה הישיבה למשכנה הקבוע על אחת מגבעות בני ברק, ששטחה היה שייך ליעקב הלפרין, מייסד שכונת זיכרון מאיר. בהקמת הישיבה ובגיוס המשאבים הכלכליים להקמתה סייעו גם אברהם קריניצי, ראש עיריית רמת גן, ואברהם הרצפלד, ממייסדי "אחדות העבודה" שלמד בצעירותו בישיבת טלז יחד עם הרב כהנמן. הבנייה נמשכה גם לאחר המעבר לבניין הקבע.
מכלול מבני הישיבה משתרע על פני 120 דונם במרכז בני ברק בניין הישיבה הנראה למרחוק תוכנן בידי האדריכל יצחק שוסטר.
משגיח הישיבה הראשון בארץ ישראל, הרב גרוסברד, איבד את אשתו וארבעת ילדיו בשואה. עם היוודע גורלם התדרדר מצבו הרפואי והוא עזב את הישיבה. הוא נפטר בירושלים זמן קצר לאחר מכן, באב ה'תש"ו, באוגוסט 1946. לימים נקרא הרחוב המרכזי בקריית הישיבה, רחוב רבי אבא, על שמו. זמן מה לאחר פטירתו, נענה הרב אליהו אליעזר דסלר שנחשב לאחד מגדולי בעלי המוסר בשיטת קלם במאה ה-20, לבקשתו של הרב מפוניבז' לעלות מגייטסהד שבאנגליה כדי לכהן כמשגיח הישיבה.
בליל שבת, 15 בפברואר 1947 לפנות בוקר חדרו שלושה ערבים לבניין הישיבה על מנת לשדוד את תכולת המחסן. כמה מתלמידי הישיבה שגילו את השודדים התחזו לישנים, אך אם הבית מנהלת מחסן ההלבשה של בתי אבות, רבקה הרצוג, ניצולת שואה אלמנה בת 42, הקימה זעקה ונרצחה בידי השודדים.
מאז הקמת מדינת ישראל מניפים דגל ישראל בראש בניין הישיבה ביום העצמאות. נוהג זה, החריג לעולם החרדי שאינו מציין את יום העצמאות, הוא בעקבות הוראתו של מייסד הישיבה, הרב יוסף שלמה כהנמן, והוא נשמר גם כיום, חרף התנגדויות פנימיות במהלך השנים.
שנות ה־50.
בשנת ה'תשי"ב, 1952, מונה בישיבה ר"מ שלישי - הרב אלעזר מנחם מן שך, שהיה עד אז כר"מ בישיבת קלצק ברחובות, ולימים הנהיג את הציבור החרדי-ליטאי.
ביוני 1953 נחנך הבניין המרכזי של הישיבה, "היכל התורה ע"ש קרויזהאר", ובו בית המדרש המרכזי וחדרי שיעורים. הטקס החגיגי נערך בהשתתפות נשיא המדינה יצחק בן־צבי, הרב הראשי הרב הרצוג, השרים בורג ושפירא, האדמו"רים מפשמישל, מסדיגורה וממודז'יץ והרבנים הראשיים של ערי גוש דן. את הטקס הנחה השופט יצחק קיסטר. לאחר נאום ברכה של הרב זלמן סורוצקין, ראש ועד הישיבות, נאם הרב כהנמן, לראשונה בחייו בעברית. הוא אמר שמ־300 תלמידי הישיבה קודם השואה שרדו רק שניים, וכעת נבנה המשך למפעל התורה הזה בארץ ישראל. לאחריו נאם הנשיא בן־צבי. בהיכל בית המדרש המרכזי היו בעת חנוכתו 500 מקומות ישיבה ו־250 מקומות נוספים ביציע. לרגל חנוכת הבית סללה העירייה כביש מרחוב סוקולוב לגבעת הישיבה (כיום בשטח רחובות מהרש"ל וחפץ חיים).
קנאים חרדים פרסמו פשקווילים בחתימת "ותיקי ותלמידי ישיבת פוניבז'" המגנים את הזמנת האישים הציוניים לישיבה. הנהלת הישיבה תלתה את המעשה בגורמים חיצוניים המבקשים לפגוע בה. בזמן טקס חנוכת הבית התנוססו על גג הישיבה דגל ישראל ונס הנשיא.
פעילות הקנאים נגד קשרי הישיבה עם מוסדות המדינה המשיכה גם בחודשים הבאים. בעת מסע ההלוויה של משגיח הישיבה, הרב אליהו אליעזר דסלר, בסוף דצמבר 1953, הספיד אותו הרב הרצוג בהיכל הישיבה. קנאים הפריעו להספד בקריאות ביניים. הפרעה דומה נעשתה בהלוויית הרב איסר זלמן מלצר בנובמבר אותה שנה בירושלים, והרב דסלר גינה זאת. בעקבות האירוע המביך, שלחה הישיבה מברק התנצלות לרב הרצוג, שבו גינתה בחריפות את הקנאים. המברק פורסם גם בעיתונות. סיעת הפועל המזרחי במועצת העיר טענה שחברי מועצה חרדים ובהם שמעון סירוקה עמדו מאחורי תקיפת הרב הרצוג ובעקבות דרישתה הוקמה ועדת חקירה לבדיקת המקרה. בהמשך אותה שנה תקפו קנאים את הרב הראשי לתל אביב־יפו, הרב איסר יהודה אונטרמן בעת שהשתתף בחתונה שנערכה בחדר האוכל של הישיבה.
זמן קצר לאחר פטירת הרב דסלר התמנה כמשגיח הישיבה הרב יחזקאל לוינשטיין, ששימש עד אז כמשגיח ישיבת מיר במיר, בנדודי הישיבה באירופה וביפן ובמשכנה החדש בירושלים.
בנובמבר 1957 יצא מהישיבה מסע הלווייתו של בוגר הישיבה , בנו של חבר מועצת המדינה הזמנית מאיר דוד לוינשטיין, שנהרג בקרב המיתלה במלחמת סיני ונקבר בתחילה בבית קברות ארעי. ההלוויה יצאה ממקום התייחדות מיוחד למרגלות בנין הישיבה, משם יוצאות הלוויותיהם של אישים הקרובים לישיבה שאינם נמנים עם צוות הרבנים.
שנות ה־60.
ב־1960 החל הרב כהנמן בתכנונו של מפעל הנצחה גדול ליהדות ליטא שחרבה בשואה. בשלבי התכנון הראשוניים עלתה הצעה להקמת בית מדרש ובו פינות הנצחה לקהילות ליטא, הצעה שעד סוף אותה שנה לבשה צורה בדמותו של אוהל הקדושים שהוקם במהלך שנות ה-60. סביבו היה אמור להיבנות בית קברות מיוחד לגדולי ליטא שאת ארונם תכנן הרב להעלות לישראל, בהם הגאון מווילנה והחפץ חיים. תחת רעיון זה הוקם בשנים הבאות בית הקברות של נציבי ישיבת פוניבז' שבקבר הראשון בו נקברה הרבנית גוטל, אשת הרב שך. מלבד "נציבי הישיבה" - כינוי לתורמים שרכשו עבור הישיבה בית שמשכר הדירה שלו ממומנת פעילות הישיבה ליום בשנה, קבורים שם גם רבני הישיבה שנפטרו ורבנים מפורסמים אחרים.