בשנת 1926 רכשה משפחתו קרקעות בקדמת ציון, מזרחית לעיר העתיקה, אך בעקבות מאורעות תרפ"ט נמנע מהם להתיישב במקום.
בזמן מאורעות תרפ"ט שימש בית הרב פרנק בבתי מחסה כמקום מסתור לנשק של ההגנה, וכן סייע להגנה בדרכים נוספות. בתקופה מאוחרת יותר שימש בית הרב בשכונת גאולה כמחסן נשק, בית מלאכה ומקום אימונים להגנה.
החל ממאורעות תרפ"ט החלה עזיבה יהודית של העיר העתיקה ומעבר אל העיר החדשה, וגם בית הדין עבר לשכונת מאה שערים. גם הרב פרנק עבר לגור סמוך לבית הכנסת בשכונת אחווה שבה שימש רב. לאחר מספר שנים עבר לרחוב מלאכי 17 בשכונת גאולה שבו התגורר עד לפטירתו. בשנת ה'תרצ"ה (1935) נוסד בירושלים מכון מדרש בני ציון לעיסוק בהלכות התלויות בארץ. הרב פרנק עמד במשך עשרים וחמש שנים בראשו, העביר שיעורים והשתתף במאמרים בחוברות "כרם ציון" בהוצאת המכון.
רבנותו בירושלים.
לאחר פטירתו של הרב קוק ב-1935 נבחר הרב פרנק לרבה של ירושלים, אולם סירב להצעה להתמודד גם לתפקיד הרב הראשי לארץ ישראל. את רבנותו הנהיג ביד רמה, חרף ביקורת שנמתחה כלפיו מהימין ומהשמאל. הוא לא היה מזוהה עם אף מפלגה. כרבה של ירושלים דאג הרב פרנק לקיומם של מוסדות התורה, הצדקה והחסד בעיר, והיה פטרונה של קופת רבי מאיר בעל הנס. הוא שמר על בית הכנסת חורבת רבי יהודה החסיד כמקום על-מפלגתי ומנע עצרות תפילה מפלגתיות בו.
הרב פרנק השתתף באופן פעיל בייסוד המרכז הארצי לטהרת המשפחה בשנת ה'תש"ב (1942), ופסק כי יש קדימות לבניין מקווה על פני בניית בית כנסת.
לאחר השואה הקדיש הרב פרנק זמן רב לפתרון בעיות של עגונות. כן זירז להעלות לקבורה בארץ את אפר הנספים בשואה.
במלחמת העצמאות התיר הרב פרנק ייצור משוריינים בשבת להצלת גוש עציון, אך דרש כי לא יהיה חילול שבת עבור מטרות שאינן הכרחיות. כן התיר אכילת קטניות בפסח ה'תש"ח בשל מצוקת המזון בירושלים. לעומת היתרים אלו, התנגד הרב פרנק בתוקף לגיוס בני הישיבות, מתוך אמונה כי לימוד התורה מגן ומסייע לכוחות הלוחמים. לאחר נפילת העיר העתיקה הכריז על כ' בסיוון ה'תש"ח כיום אבל ותפילה לציון שלושים יום לנפילת העיר העתיקה.
בהקמת מדינת ישראל ראה הרב פרנק אתחלתא דגאולה ויד ההשגחה העליונה. עם זאת, נאבק להשלטת התורה וההלכה במדינה החדשה. הרב פרנק נאבק בחריפות רבה בחוק גיוס חובה לבנות, וגם בחוק השירות הלאומי לבנות, מחשש להשפעה שלילית על הבנות. כתב פסק דין שעליו חתמו גם הרב זליג ראובן בנגיס, הרב איסר זלמן מלצר והרב דב בריש ווידנפלד שבו נקבע כי גיוס ושירות לאומי לבנות הם אבזרייהו דגילוי עריות, שדינה הוא יהרג ואל יעבור . הרב פרנק ראה בחוקים אלו, יחד עם חוקים נוספים שכנגד התורה סכנה רוחנית לעצם קיומה של המדינה. כך גם בנושא החינוך לילדי העולים ופעילות המיסיון הנוצרי בישראל, הרב פרנק מחה כנגד השלטונות.
הרב פרנק ניסה לפעול כנגד חילול שבת ציבורי, הן בפעולות חינוך בדרכי נועם והן בעידוד המוחים כלפי חילול השבת בתחבורה ובמסחר. לאחר מעצרם של מפגינים במאבקים אלה בשנים הראשונות למדינה, פרסם הרב פרנק מחאה על מעצרם, בה כתב כי: "יהודים אלו מצווים לפי דת תורתנו למחות נגד מחללי השבת ועוקריה". הוא פסק כי אף שאין לעבור אף על איסור דרבנן כדי למנוע חילול שבת, אין לחשוש שבעקבות מחאות כנגד חילול השבת, יבוא מחלל השבת לידי חילול שבת נוסף. הוא סייע לבני הקיבוצים הדתיים למציאת פתרונות לחליבה בשבת ובעיות נוספות. לאחר הקמת המדינה מחה נגד ועדת השרים לעניין היתרי עבודה בשבת.
הרב פרנק לחם כנגד ניתוחי מתים שלא לצורך וכן כנגד הצעת חוק האנטומיה והפתולוגיה. הוא התיר לבחורי ישיבה להוציא גופת נפטר מבית חולים על מנת למנוע ניתוח שלאחר המוות. אולם במקרה שבו היה צורך להבאת ראיה משפטית על מנת להרשיע נהג שהרג ברשלנות, התיר לנתח את גופת ההרוג לשם 'מגדר מילתא' כלומר על מנת למנוע העדר ענישה ראויה.
הרב פרנק התנגד לחפירות ארכאולוגיות בקברים קדומים, וראה במעשה זה פגיעה בכבוד המת. כשנתיים לאחר מלחמת העצמאות פנו אל הרב אנשי יד לבנים לקבלת אישור להעברת חללים מבית הקברות סנהדריה ובית הקברות שייח' באדר לבית הקברות הצבאי בהר הרצל. הוא התנגד לכך, היות שהחללים נקברו ללא ארונות, והעברת שרידיהם הייתה כרוכה בשבירת עצמות. עם זאת, הוא התיר את פינויים של חללים שנקברו ללא סדר, אלו על אלו.
כשעלה נושא מיהו יהודי, התנגד הרב פרנק בתוקף להצעת החוק, וכינס את רבני ירושלים ואישי הציבור למאבק בחוק זה.
במשך השנים עמד הרב פרנק בקשרי ידידות עם חשובי הרבנים בעולם היהודי, ביניהם: הרב ירוחם פישל פערלא, שלו סייע לעלות לארץ, והרב חיים עוזר גרודזנסקי. הוא פעל עם הרב קוק בהקמת הרבנות הראשית ובמאבקים ציבוריים שונים. הרב איסר זלמן מלצר, שהיה קרוב משפחתו, עלה בעידודו לארץ ישראל.
בשנותיו האחרונות הקדיש זמן לסידור כתביו להוצאה לאור בעזרת נכדו, הרב יוסף כהן, דיין בבית הדין הרבני בירושלים. בשנת ה'תש"ך זכה בפרס הרב קוק לספרות תורנית.
בשנותיו האחרונות לקה בלבו כמה פעמים. נפטר בליל שבת פרשת וישב, כ"א בכסלו ה'תשכ"א (1960), מעט קודם לעלות השחר בביתו, ונקבר בהר המנוחות.
הגותו ההלכתית ודעותיו.
הלכות ציבור.
הרב פרנק התנגד להקמת קהילות דתיות נפרדות וסבר כי אין לנתק את הקשר עם הציבור החילוני שרובו הם תינוקות שנשבו, מתוך שאיפה להשפעה על הצביון הציבורי ושאיפה שהציבור החילוני יחזור בתשובה, ולו במעט. בכרוז שיצא על ידי רבנים בקיץ ה'תרצ"ה (1935) הם קראו לכך שבכל מקום יישוב תהיה רק קהילה דתית אחת, שחיטה אחת ובית דין אחד. על כרוז זה חתומים גם הרב פרנק והרב קוק.
הרב פרנק שאף לאיחוד היהדות הדתית על כל פלגיה, ויצא כנגד הכיתתיות וצרות העין. הוא הביע את שמחתו על הקמת החזית הדתית המאוחדת בבחירות לכנסת הראשונה.
הרב פרנק ראה בקראים קבוצה שיצאה מעם ישראל, ולפיכך אינם יהודים ואין להעלותם לארץ, וכן אין לאפשר להם ללמוד בבתי ספר דתיים. כלפי היהדות הרפורמית יצא בחריפות רבה, וקבע כי על פי דין התורה יש להתרחק מהם מלוא הריחוק, ואין להתחבר עמהם לשום עניין.
כשנשאל על ידי ברוך דובדבני אם להמשיך במאמצים להעלאת יהודי מרוקו לישראל, למרות החשש שיהפכו לחילונים, השיב לו הרב פרנק בחיוב, בין היתר בנימוק שאם יישארו במרוקו יעמדו בסכנת חיים ובסכנת התבוללות, ואפילו אם יש רק ספק סכנה גם אז חובה להעלותם.
ארץ ישראל.
הרב פרנק העריך את מפעל ההתיישבות בארץ והתנגד להסתגרות בארבע ערי הקודש. הוא תמך בקבוצה בשם "קהלת יעקב" מכולל אונגרין שהתאגדה להקמת מושבה לבני ירושלים בשנת ה'תרס"ו (1906), כנגד דעתם של ראשי הכולל. הרב פרנק פעל למינוי רבנים ושו"בים במושבות, ביקר בהן, והשתדל לקרב את אנשיהן.
בעת הדיונים על הצעת החלוקה של ועדת פיל ב-1937, השיב הרב כי לדעתו יש להסכים בדיעבד לתוכנית החלוקה.
הרב פרנק קרא לרבנים מחוץ לארץ להעדיף את אתרוגי ארץ ישראל, ובהסתמכו על תשובת הרמ"א פסק כי על פי דין התורה יש להעדיף קניית מוצר מיהודי על פני גוי, אף במקום שהגוי מוכר במחיר זול יותר.
הרב פרנק היה בין המתירים את השימוש בהיתר המכירה בשנת השמיטה, אך עודד גם את החקלאים השומרים שמיטה ללא שימוש בהיתר המכירה.
כשרות.
הרב פרנק התיר את השימוש באבקת חלב נוכרי, וכן התיר את השימוש בג'לטין, אף ג'לטין שנעשה מעצמות ובהמות טמאות.
נישואים.
הרב פרנק התיר אלפי עגונות במהלך חייו. לעיתים היה מחפש שותפים להיתר עגונה, אך לא רצה לדעת את נימוקיהם המדויקים על מנת שלא לסתור אותם. מאידך גיסא, התנגד להיתר עגונות קיבוצי. בעקבות מקרה של חולה שרצה לתת גט לאשתו קודם מותו בשל הקושי בקבלת חליצה מאחיו, פעל הרב פרנק למינוי רב למרכז הרפואי של הדסה. בתקופת המנדט הבריטי הייתה נהוגה תופעה של נישואים פיקטיביים לצורך קבלת סרטיפיקטים, כאשר לאחר שהגיעו לארץ היו מתגרשים. הרב פרנק פסק כי הנישואים והגירושים הם פיקטיביים, ואין האישה נאסרת בגללם להינשא לכהן. בתי הדין בארץ ישראל נהגו להעביר אליו את המקרים הקשים והמסובכים שעלו על שולחנם.
הרב פרנק יצא באיגרת כנגד הנהגת קידושין על תנאי בידי רבנים קונסרבטיביים, וקבע כי על הדין אין תנאי מועיל בהם. כן התנגד למינוי שליח לגירושין בשעת סידור הקידושין.
לימוד תורה.
כשהיה מסיים סוגיא היה נוהג לחזור על תמציתה ורק אחר כך להתחיל עניין חדש, וכך הדריך גם אחרים, להשתדל לזכור רק את תמצית הסוגיא. הורה לתלמידיו לא להתעכב יתר על המידה בהבנת דברים מקומיים מוקשים, אלא להמשיך ללמוד, ומתוך המשך הלימוד תצמח ההבנה. בצעירותו שכנעו אותו מקובלי ירושלים להקדיש זמן ללימוד תורת הנסתר, והוא למד חורף שלם מפי הרב מנחם מנכין היילפרין, אולם הפסיק לימוד זה כאשר אמר לו כי בלימוד הנסתר אין מקום לשאלות.
מבני הישיבות דרש לחדש חידושים תוך כדי לימודם. חשיבות מיוחדת ראה בפרסום דברי תורה באופן מובן בעלונים ובחוברות. דעתו לא הייתה נוחה מביטויים חריפים כנגד גדולי ישראל מהדורות הקודמים, וגם כשפסק כנגד דעותיהם, הקפיד להשתמש בלשון כבוד כלפיהם.
רבנות.
הרב פרנק נחשב לפוסק הלכה מובהק. הרב שמואל סלנט שיתפו בדיונים בנושאי גיטין עוד בהיותו כבן 24, והעביר לידו את פסיקת ההלכה בנושא הפרשת תרומות ומעשרות. הוא המשיך את שיטתו של הרב סלנט ברבנות ובהנהגת הקהילה. עם השנים הועברו אליו שאלות הלכתיות כבדות, אף ממקומות מרוחקים ומציבורים מגוונים.