לאחר פטירתו של הראי"ה בשנת ה'תרצ"ה, התמנה לראשות הישיבה תלמידו הרב יעקב משה חרל"פ, והרב שלום נתן רענן התמנה למנהל הישיבה. תקופה זו הייתה קשה מבחינה כלכלית וביטחונית. אותות התקופה הזאת ניכרו גם בישיבה. בשנות הארבעים מינה הרצי"ה את אברהם שפירא, שנישא לאחותו של הרב רענן, לצוות הישיבה.
במהלך מלחמת העצמאות התגייסו רבים מבני הישיבה לצה"ל, זאת חרף המחלוקת בשאלה זו בין הרב צבי יהודה שקרא לגיוס לבין הרב חרל"פ שהתנגד לו, בדומה לראשי ישיבות נוספים בירושלים באותה תקופה. היעדרות התלמידים בתקופה זו ונפילתם של מספר תלמידים גרמה לירידה במצב הישיבה.
בתקופה זו היו מגיעים רבים מישיבת "חברון" לשמוע שיעורים בישיבה, וכן הרב בן ציון אבא שאול מישיבת פורת יוסף.
עם היחלשותו של הרב חרל"פ, ביקש מהרב שפירא, שעד אז מסר אך שיעור קצר, שימלא את מקומו ויחל במסירת השיעור כללי, וכך נעשה.
בזמן כהונת הרב צבי יהודה קוק כראש הישיבה.
בעודה ב"בית הרב".
עם פטירתו של הרב חרל"פ, בשנת תשי"ב, החל למלא את תפקיד ראש הישיבה בנו של הראי"ה, הרב צבי יהודה, יחד עם הרב שלום נתן רענן. בראשית התקופה, הייתה הישיבה קטנה מאוד מספר התלמידים היה מצומצם (ביניהם היו הרב אליעזר שפירא, הרב שבתי אטון והרב יוסף שלוש). למעט שני שיעורים כלליים של הרב רענן ושל הרב אברהם שפירא, לא ניתנו שיעורי גמרא בישיבה. לאחר שנה מונה גם הרב מרדכי פרום לר"מ, ובשלב מסוים היה גם הרב זוסמן ריגר, גיסו של הרב רענן, נותן שיעור לכמה בחורים מהישיבה. התקדמות מסוימת במקומה של הישיבה הייתה בגל תלמידים שהגיע אליה בשנת ה'תש"ט, ביניהם הרב דוב ליאור, הרב פרופ' נחום רקובר והרב יהושע רוזן.
בהמשך התחזקה הישיבה והייתה ל"ספינת הדגל" של הציבור הדתי לאומי. חיזוקה של הישיבה התאפשר בזכות שני גורמים עיקריים: האחת - החלטת הנהלת בני עקיבא שבוגרי התנועה יונחו ללכת לשנת ישיבה לפני שיפנו להתיישבות, יחד עם פעילותו החינוכית של הרב חיים דרוקמן בקרב חניכיו בשבט איתנים, והגעתו יחד עם כמה מהמובחרים שבהם - כמו הרב זלמן מלמד, הרב יעקב פילבר, הרב צפניה דרורי ואחרים - אל הישיבה; והשנייה - השתלבותה של ישיבת "משכן ישראל", בראשות הרב יעקב כלאב במרכז הרב (פעולה שנבעה מההחלטה הראשונה), עם הגעתם מונה גם הרב כלאב לר"מ בישיבה. לאחר מלחמת ששת הימים משכה הישיבה תשומת לב ציבורית לאחר שתנועת גוש אמונים שהורכבה בעיקר מתלמידי הישיבה ובוגריה, הקימה את תנועת ההתיישבות בשטחי יהודה ושומרון, ותשומת לב זו גרמה שהישיבה פרצה לתודעה הציבורית.
הרצי"ה לימד בישיבה שיעורי תנ"ך ואמונה. היו גם בחורים מישיבת חברון כנסת ישראל שהגיעו להשתתף אצלו בשיעור. כאשר שמע הרצי"ה שיש מתלמידי הישיבה ששומעים שיעור בספר התניא, החל ללמד בתגובה את נפש החיים. את השיעורים בגמרא מסרו הרב רענן, הרב כלאב, הרב פרום, והרב שפירא שהיה מוסר שיעור כללי ושוהה בישיבה בשעות הסדרים כדי לשוחח עם הבחורים בסוגיות.
בשנת ה'תשי"ט ביקש הרצי"ה מהרב שאול ישראלי להצטרף לראשות הישיבה. הוא החל להעביר שיעור כללי בישיבה ושימש בתפקיד ראש ישיבה עד לפטירתו בשנת תשנ"ה. מאז ועד פטירתו נמסרו מדי שבוע שני שיעורים כלליים - שלו ושל הרב שפירא. כאשר הרב שפירא מוסר בנוסף שיעור מיוחד בקצות החושן במוצאי שבתות. במשך כל חיי הרב צבי יהודה, הרב שפירא הצניע את עצמו מאוד, ולא הביע עמדה שונה משל הרצי"ה בשום נושא.
המעבר לקריית משה.
בחשוון תשכ"ה, מחמת ריבוי התלמידים, עברה הישיבה לשכונת קריית משה בירושלים, לבניין חדש שנבנה עבורה ברחוב בן דור (עם השנים הוסב שמו ל"רחוב הרב צבי יהודה"). בעשר השנים הבאות בית המדרש היה בבניין הפנימיה, במקום שבו נמצאים כיום חדרי השיעורים, ובשנת תשל"ה עבר בית המדרש למקומו הנוכחי. המעבר נתן לישיבה תנופה, נוספו ר"מים חדשים והרבה תלמידים. כמו כן היא החלה להתנהל באופן מסודר יותר, עם חלוקה לשיעורים לפי שכבות כמקובל, והרצי"ה החל במסירת שיעורים בשעות קבועות, בספרי הראי"ה, בכוזרי ובמסילת ישרים.
במשך הזמן שילב הרב צבי יהודה את בוגרי הישיבה בתחומי עיסוק שונים. הוא הטיל על הרבנים אריה שטרן ויוחנן פריד את הקמתו של מכון הלכה ברורה לפי חזונו של הראי"ה. גם כיום עומד הרב אריה שטרן בראש המכון. לר"מים בישיבה מינה הרב צבי יהודה את הרבנים אריה שטרן, יעקב אריאל, דוב ליאור, זלמן ברוך מלמד, חיים שטיינר, מרדכי שטרנברג, עמיאל שטרנברג, מיכאל הרשקוביץ, יהושע רוזן ואברהם יצחק הלוי כלאב, ואת הרב יהושע צוקרמן לר"מ בשיעור לבוגרי צבא. למלמדי אמונה מינה את הרבנים חיים דרוקמן, יעקב פילבר, צבי ישראל טאו, יעקב לבנון, עודד ולנסקי, עוזי קלכהיים ומיכאל צבי נהוראי.
במהלך שנת תשל"ב נפטרו הרב שלום נתן רענן והרב דוד כהן ("הנזיר"). מיד לאחר מכן, נפטר גם חתנו הרב מרדכי פרום שהיה ר"מ בולט בישיבה, מלבד שיעורים שהעביר לכלל תלמידי הישיבה הוא היה אחראי על קבלת התלמידים ואף נטל על עצמו לתקופה קצרה את ניהול הישיבה. לאחר מכן, מינה הרב צבי יהודה מספר ר"מים חדשים. במהלך שנים אלו צמחה הישיבה לסדר גודל של מאות תלמידים. מרכיב משמעותי בצמיחתה של הישיבה היה פריצתה לתודעה הציבורית בעקבות הקמת גוש אמונים.
הרב צבי יהודה ראה מצווה משמעותית בשירות הצבאי, אך נזהר שלא לערב את תקופת השירות של תלמידיו בתוכניות הלימודים של הישיבה. הוא איפשר לתלמידים חופש בחירה בנוגע לתוכני הלימוד, אך הקפיד שהם ילמדו את הספר שמירת הלשון, העוסק בדיני לשון הרע, במשך כחצי שעה בכל יום. בעידודו הוקמה תוכנית הסדר מרכז לשירות צבאי מקוצר לבחורי הישיבה שהורחבה גם לישיבות גבוהות ציוניות אחרות.
הרב צבי יהודה עצמו היה מעביר שיעורים לבני הישיבה בשעות הצהרים. השיעורים היו בספר הכוזרי, בספר אורות, אורות התורה, אורות התשובה, ומסילת ישרים. בימי רביעי אחר הצהרים היה שיעור מיוחד באורות הקודש, שאליו הורשו להיכנס רק תלמידים מבוגרים, ובהם רבני ערים וישובים, ר"מים וראשי ישיבות. גולת הכותרת של השיעורים היה השיעור בפרשת השבוע שנערך במוצאי שבת, אליו היו מגיעים המונים, והוא הועבר באמצעות טלוויזיה במעגל סגור לחדרי הבית השונים, וגם לדירות השכנים.
בשנים האחרונות לחייו, היה הרב צבי יהודה שולח הרבה מענייני הישיבה לבירורו והכרעתו של הרב שפירא, וכן העביר לאחריותו את ניהול הישיבה. לפי עדות הרב דוב ליאור, בשנת ה'תשמ"ב (1982), לפני פטירתו, מינה הרצ"ה את הרב שפירא לממשיכו בראשות הישיבה. כך גם סיפרו מנהל הישיבה דאז הרב שמעון קליין והרב איתן אייזמן
הקמת ישיבות והתיישבות.
בהמשך, שלח הרב צבי יהודה את הרבנים חיים דרוקמן, אליעזר ולדמן, דוב ליאור, זלמן ברוך מלמד, צפניה דרורי ואחרים להקים ישיבות חדשות, צעד שחיזק את מעמדה של הישיבה.
בעקבות מלחמת ששת הימים, ובמיוחד לאחר מלחמת יום הכיפורים, הוביל הרצי"ה את תנועת ההתיישבות בשטחי יהודה ושומרון. תנועת גוש אמונים שהורכבה בעיקר מתלמידיו, שינתה למעשה את התודעה של הציונות הדתית. בכך הפך הרב צבי יהודה את הישיבה למובילה בציבור הדתי־לאומי.
בזמן כהונת הרב אברהם שפירא כראש הישיבה העיקרי.
לאחר פטירת הרב צבי יהודה קוק, בחג הפורים תשמ"ב, נותרו בראשות הישיבה הרב אברהם שפירא והרב שאול ישראלי.
השיעור הכללי הועבר בימי שלישי על ידי הרב אברהם שפירא ובימי חמישי על ידי הרב שאול ישראלי. מלבד השיעורים - שם הרב שפירא דגש על יצירת קשר אישי וחם עם תלמידי הישיבה, ואף הוסיף שיעורים ושיחות עם בחורים צעירים בביתו שלו. הוא גם דרש מהר"מים ליצור קשר ושיחות אישיות עם בחורים, לשמוע על מצבם ואם יש להם קשיים או טענות, הוא הדגיש שדבר זה נצרך אף לבחורים המצוינים, ולא רק לכאלו שנחשבים עם קשיים.
בשיחות לצעירים בביתו הרבה להדגיש את חשיבות שקידת התורה והלימוד בהספק נרחב, באמרו "בתורה - כמות זו איכות", בהמריצו אותם להגביר את הקצב בלימוד העיון, ולהשקיע בלימוד התוספות בשעת לימוד הבקיאות, כשהוא מנמק: "שיטת הלימוד של 'ואם תאמר' 'ויש לומר' זה מה שבונה באדם שכל של תורה".
הרב שפירא והרב ישראלי ייסדו את איחוד הרבנים למען ארץ ישראל ובלטו במאבק על שלמות ארץ ישראל בתקופת הסכמי אוסלו. לאחר ההסכמים פנה הרב חנן פורת אל הרב שפירא בבקשה שישלח אברכים מהישיבה ללמוד דרך קבע בקבר רחל כדי לחזק את האחיזה היהודית במקום, כך הוקם הכולל של הישיבה במקום הפועל עד היום.
בשנת תשנ"ה נפטר הרב ישראלי. בתקופת הרב שפירא הקימו אנשי הישיבה את המאחזים גבעת אסף וחרשה. הרב שפירא בלט גם במאבק בתוכנית ההתנתקות ואף פסק כי על אנשי כוחות הביטחון לסרב פקודה ולא להשתתף בתוכנית.
הרב שפירא עודד הקמת ישיבות נוספות על ידי תלמידיו, ופעל לביסוסן וקידומן. כן יזם הקמת כוללים ברחבי הארץ, ואף שלח אברכים נשלחו לפעילות תורנית וחינוכית בחוץ לארץ. תלמידים רבים בעלי שיעור קומה תורני שהוא העמיד - נשלחו על ידו למקומות שונים ברחבי הארץ, לתפקידי רבנות, דיינות וחינוך, והודרכו על ידו לאורך פעילותם.
פיצול הישיבה.
בימי השבעה על הרצי"ה דרשו הרב צבי טאו ושישה מהרבנים בישיבה – הרבנים מרדכי שטרנברג, עמיאל שטרנברג, עודד וולנסקי, יהושע צוקרמן ויעקב לבנון, וכן הרב שלמה אבינר – מהרב שפירא והרב ישראלי, למנות גם את הרב צבי ישראל טאו לראש ישיבה ולהעניק לו זכות הטלת וטו בקבלת והוצאת תלמידים ור"מים, ניהול כספי, עמדות הישיבה כלפי חוץ ועוד. דרישתם לא התקבלה. בהמשך מינה הרב שפירא ר"מים חדשים, כמו בנו הרב יעקב שפירא, בן אחיינו הרב שלמה שפירא, ותלמידיו הרב יהושע מגנס והרב יגאל לרר. הישיבה התנהלה במשך חמש עשרה שנה כשבתוכה מלמדים רבנים משני המחנות.