כעבור כמה חודשים פגש הרב שך את הרב אברהם פרבשטיין ותהה באוזניו מדוע האנשים סביבו תמהים על כך שהוא משמש כר"מ בישיבתו של הרב עמיאל. הרב פרבשטיין הפנה אותו אל החזון איש שהורה לו לעזוב את משרתו לאלתר, תוך שהוא מתבטא "כפי ששמעתי עליכם, הייתה זו פליאה שנכנסתם לשם". ההתנגדות נבעה בשל הביקורת שהייתה לרבנים החרדים על הרב עמיאל, שהשתייך לחוגי המזרחי. בעקבות זאת הודיע הרב שך על פרישתו.
בשנת תש"ב, בהמלצת החזון איש, התמנה הרב שך לראש ישיבה בישיבת "בית יוסף"-נובהרדוק בירושלים, שבראשה עמד הרב בן ציון ברוק, ועבר להתגורר בשכונת כרם בירושלים. התלמידים השתייכו לכל המגזרים בציבור החרדי, ובהם חסידים, ירושלמים ובני עדות המזרח. מלבד התלמידים המקומיים קלטה הישיבה צעירים פליטי השואה. את השיעור היומי היה הרב שך מוסר בעברית ואת "השיעור הכללי" מסר ביידיש, כפי שהורגל בישיבות ליטא ורוסיה.
באותה תקופה התקרב לרב מבריסק, הרב יצחק זאב הלוי סולובייצ'יק, שעלה לארץ ישראל כמה חודשים אחריו והתיישב בירושלים.
ר"מ בישיבת לומז'ה-פתח תקווה וישיבת קלצק ברחובות.
בשנת תש"ד נפתחה ישיבת פוניבז' בבני ברק על ידי הרב יוסף שלמה כהנמן. הישיבה החדשה איימה על מעמדה של ישיבת לומז'ה בפתח תקווה, שעד אז נחשבה ישיבה ליטאית מובילה בארץ ישראל. כמה מתלמידי ישיבת לומז'ה שלמדו אצל הרב שך בישיבת תל אביב, ובהם הרב גדליה נדל, פנו אל ראש הישיבה הרב ראובן כץ והציעו לו להביא לישיבה את הרב שך, כדי להפיח רוח חדשה בישיבה. הרב כץ נענה לבקשה ומינה את הרב שך כר"מ בישיבה. הוא עבר להתגורר בגפו בפתח תקווה ובסופי השבוע היה נוסע אל משפחתו בירושלים. בתקופה זו נפל רוב העול הכלכלי על כתפי רעייתו שאף על פי שלא השלימה את לימודי הרפואה טיפלה בחולים.
בשנת ה'תש"ז התמנה הרב צבי יהודה מלצר כרבה של רחובות, ובעקבות זאת העתיק אליה את ישיבת קלצק שהקים בפרדס חנה. בשנת תש"ט הוא פנה אל הרב שך, שהיה בן דודו, בהצעה לכהן כר"מ בישיבה והרב שך נענה. במשך ימות השבוע הוא שהה בישיבה, כשאליו מתלווה בנו אפרים שך. בסופי השבוע שב לירושלים. הוא נהג להאריך את הדרך לירושלים ולעבור דרך בני ברק, שם היה פוקד את ביתו של החזון איש. בירושלים הוא הרבה לשהות בבית הרב מבריסק וכן בביתו של הרב יחזקאל לוינשטיין שעלה אז מארצות הברית והתיישב בירושלים.
בתשי"א השיא הרב שך את בתו דבורה עם הרב מאיר צבי ברגמן, תלמידו מישיבת לומז'ה. השדכן היה החזון איש שהכיר מקרוב את הרב ברגמן, אשר בהיותו תלמיד בישיבת תפארת ציון התגורר במשך שנתיים בביתו של החזון איש.
ראש ישיבת פוניבז'.
בשנת ה'תשי"ב הזדמן לרחובות הרב מפוניבז', הרב יוסף שלמה כהנמן. הוא ביקר בישיבת קלצק ולאחר שהתרשם מהרב שך הציע לו לבוא ולכהן כראש ישיבה בישיבת פוניבז', לצד עמיתיו הרב שמואל רוזובסקי והרב דוד פוברסקי. הרב שך נענה להצעה. הוא התמנה כראש ישיבת פוניבז' וכיהן בתפקידו במשך חמישים שנה.
לאחר פטירתו של הרב מרדכי דוד לוין, בשנת ה'תשכ"ז, מונה הרב שך לכהן גם כראש ישיבת עץ חיים הוותיקה בירושלים, ובמשך שנים רבות היה מוסר בה שיעורים שבועיים במקביל לכהונתו בישיבת פוניבז'. כן היה מוסר שיעורים מדי שבועיים בישיבת גרודנא באשדוד, שנוסדה גם היא על ידי הרב כהנמן, ובאותם ימים הייתה מסונפת לישיבת פוניבז'.
הנהגת עולם התורה הליטאי.
במשך כשלושים שנה, משנות ה-70 ועד שנותיו האחרונות, ניצב הרב שך בעמדה של מנהיג עולם הישיבות הליטאיות. הוא עמד בראש ועד הישיבות והתווה את דרכן של הישיבות הליטאיות בישראל, ובמידה רבה גם מחוץ לה. ראשי הישיבות היו נועצים בו בעניינים תורניים, חינוכיים ואישיים. עודד הקמת ישיבות בישראל ומחוץ לה, בחלק מהן שימש כנשיא. כמו כן שימש נשיא של מוסדות וארגונים תורניים רבים.
הרב שך ראה את מתכונת הישיבות הליטאיות במזרח אירופה ערך מקודש שאין לסטות ממנו. הוא התנגד בנחרצות לשינויים בסדרי הישיבה, כגון הוספת לימוד הלכה. אף על פי שסבר שימי פגרת "בין הזמנים" ארוכים מדי, התנגד לקיצורם, משום שיש בכך שינוי מהמתכונת שנקבעה בעבר. אסר על תלמידי ישיבות להוציא רישיון נהיגה.
מנהיגות ציבורית.
הנהגתו הציבורית ומעורבותו הפוליטית של הרב שך נבנו בהדרגה. כבר בראשית שנות השישים הוזכר שמו בהקשרים פוליטיים והוא נאם בכינוסים. כן התמנה כחבר במועצת גדולי התורה של אגודת ישראל. בשנת 1972, כאשר כבר היה ראש מועצת גדולי התורה, נודע שמו בציבור הרחב בישראל כאשר בעקבות פרשת האח והאחות קרע קריעה על הרב שלמה גורן והצהיר שהוראותיו אינן הוראות. בשנת 1973 פרש ממועצת גדולי התורה בשל התנגדותו להחלטה שהוביל הרבי מגור על ריצה משותפת בבחירות עם פועלי אגודת ישראל. בהמשך חזר לכהן בראשות המועצה יחד עם הרבי מגור. הוא גם הנהיג גופים מרכזיים שונים ביהדות החרדית ובהם ועד הישיבות והחינוך העצמאי.
מעמדו הציבורי של הרב שך הלך והתבסס עם השנים בקרב החוגים הליטאיים, מכוח אישיותו הכריזמטית ובעקבות המאבקים הציבוריים שניהל. תוך שנים ספורות הפך הרב שך למנהיגו הבלתי מעורער של הציבור הליטאי. לצידו של הרב יעקב ישראל קניבסקי ("הסטייפלר"), שנודע כצדיק מחולל ישועות בציבור החרדי, וסמך על הרב שך בעניינים ציבוריים.
לאחר עליית הליכוד לשלטון בשנת 1977 הוביל הרב שך את כניסת אגודת ישראל לקואליציה. הוא התנגד לקבלת משרות מיניסטריאליות, אך התיר משרות של סגני שרים וראשות ועדות הכנסת. לקראת הבחירות בשנת 1981 הביע הרב שך סיפוק מהישגיה. לאחר אותן הבחירות נתגלעו חילוקי דעות בין הסיעה הליטאית לבין הסיעות החסידיות, ובראשן חסידות גור. בעוד הפלג החסידי שם דגש על תיקון החוק בסוגיית מיהו יהודי, הרב שך התנגד לפעילות נמרצת בעניין. חילוקי הדעות שיתקו את פעילות מועצת גדולי התורה ולקראת סוף שנת 1983 התפטר הרב שך מהמועצה.
בינתיים התקרב הרב שך לפעילי הציבור החרדי הספרדי. בבחירות 1981 הובטח לציבור החרדי הספרדי חבר כנסת לחצי קדנציה, במסגרת הסכם רוטציה. בפועל לא קוימה הרוטציה כיוון שאף נציג לא הסכים לפנות את מקומו. עקב כך, לקראת בחירות 1984 דרש הרב שך לשלב נציג של הספרדים ברשימה. משלא נתקיימה דרישתו, תמך ביוזמה של חלק מהספרדים להקים מפלגה עצמאית (אשר כבר התמודדה בהצלחה בבחירות המוניציפליות לעיריית ירושלים ב-1983), שבראשה הרב עובדיה יוסף. בלילה שלפני הבחירות הפתיע הרב שך והורה להצביע עבור ש"ס. הצבעת הציבור הליטאי הגבירה את כוחה של ש"ס שזכתה בארבעה מנדטים.
לאחר שלא ניתנה לדעותיהם של הרב שך ו"הסטייפלר" במה מספקת לדעתם ביומון של אגודת ישראל, המודיע, שנשלט בידי חוגי החסידים, ייסדו הרב שך ו"הסטייפלר", בשנת 1985, יומון חרדי חדש, בשם "יתד נאמן", שנועד לשמש במה לציבור הליטאי. בנוסף יזם הרב שך הקמת גוף כשרות בשם "שארית ישראל".
באותה שנה, פנה אליו שמעון פרס בבקשה כי יתמוך בו ביוזמתו לפרק את ממשלת האחדות ולהרכיב ממשלה צרה בראשותו. ראש לשכתו של פרס, בועז אפלבאום מספר כי הרב שך סירב אפילו להיפגש ולדבר עם "רוצח עוברים", בשל תמיכת המערך 4 שנים קודם בחוק ההפלות.
בשנת 1988, לקראת הבחירות לכנסת השתים עשרה, נוצר קרע גלוי בתוך אגודת ישראל בין הליטאים והחסידים, סביב ההגמוניה החסידית במפלגה וסביב מאבקו של הרב שך בחסידות חב"ד. היו שפירשו את עמדתו כמאבק נגד החסידות כולה, אולם הרב שך הכריז פעם אחר פעם כי למאבק אין קשר למחלוקות החסידים והמתנגדים. בסופו של דבר פרשו הליטאים והקימו מפלגה חדשה בשם "דגל התורה". בכ"ח בתשרי נערך כנס היסוד של המפלגה בבנייני האומה. בכנס זה נאם הרב שך ובו נימק את הקמת המפלגה בכך ש"בני התורה" אינם מיוצגים במפלגת אגודת ישראל. אירוע זה נחשב כמאורע מכונן בציבור הליטאי. בכניסתו של הרב שך לאולם שרו לו "ימים על ימי מלך תוסיף" במשך מספר דקות. מאז נעשה שימוש בשיר זה בעת קבלת פנים לרבנים חשובים.
אירועי אותה מערכת הבחירות ברחוב החרדי היו אחד הפרקים הקשים בתולדות הציבור החרדי במדינה. באותן בחירות קיבלה "דגל התורה" שני מנדטים. בבחירות הבאות בשנת 1992 רצו שתי המפלגות ברשימה משותפת בשם "יהדות התורה המאוחדת". לשתי המפלגות מועצות גדולי תורה נפרדות ומוסדות נפרדים.
מפעלים אלו סייעו בגיבושו של הציבור הליטאי כקבוצה אחידה המעמידה את לימוד התורה כערך עליון. קודם לכן תמך חלק מהציבור הליטאי במפלגת פועלי אגודת ישראל (פא"י). הרב חיים גריינימן תמך בחבירתה של אגודת ישראל לפא"י, בניגוד לדעת הרב שך. הרב שך יצא נגדו בפומבי בנאום בטקס חנוכת הבית לישיבת רבינו חיים עוזר. דעתו של הרב שך גברה בקרב רוב הציבור הליטאי. עם זאת, שתי קבוצות בציבור הליטאי נותרו מחוץ להנהגתו: ה"חזון-איש'ניקים", חלק מהם בהנהגת הרב גריינימן, וה"בריסקערס", בהנהגת האחים הרבנים סולובייצ'יק, בניו של הרב מבריסק.
בסוף שנות השמונים נוצר קרע בין הרב שך לבין ש"ס, שהתבטא בין השאר בהצטרפות ש"ס לתרגיל המסריח ולכניסתה לממשלת רבין בניגוד לדעתו של הרב שך. בשלב זה החל הרב שך לנהל מלחמה ציבורית גלויה נגד המפלגה ותמך בארגון מרביצי תורה שבו רבנים ספרדים מתלמידיו. אריה דרעי, מנהיג ש"ס באותה העת, ייחס את הצרות שפקדו אותו מאוחר יותר, להקפדתו של הרב שך עליו כשפעל בניגוד לדעתו.
נאום השפנים והחזירים.