בשנת תשמ"ג (1983) עלה לישראל עם משפחתו בעקבות הזמנתם של הרבנים חיים סבתו ויצחק שילת - שהקימו את ישיבת ההסדר "ברכת משה" שבמעלה אדומים - לעמוד בראשות הישיבה. הרב רבינוביץ' שימש מאז כראש הישיבה והתגורר בסמוך לה. בתמוז תשע"ה (2015) צירף את הרבנים חיים סבתו ויצחק שילת לראשות הישיבה לצדו.
בשנת 1997 היה הרב רבינוביץ' חבר בוועדת השר פרופ' יעקב נאמן, אשר בחנה את סוגיית הגיור הממלכתי במדינת ישראל. הוועדה גיבשה הבנות לחקיקה, שהיו מקובלות על הרב רבינוביץ', לפיהן הזרמים הרפורמי והקונסרבטיבי יקבלו ייצוג בהליך ההכנה לגיור, אולם הגיור עצמו יתבצע בבית דין אורתודוקסי בלבד. לבסוף, בשל התנגדות הן מצד הרפורמים והקונסרבטיבים והן מצד הרבנות הראשית לישראל, פורקה הוועדה והשר נאמן הגיש את המלצות הוועדה מטעם עצמו.
בחודש אב תשע"ה (2015) פורסם שיעמוד בראש גיור כהלכה, רשת בתי דין לגיור. הקמת בתי הדין נתפסה כקריאת תיגר על מעמדה הממלכתי של הרבנות הראשית לישראל ועוררה סערה. כשנשאל על מעמדם הציבורי של הגרים שיגוירו בבית הדין, אמר: "הרבנים שגיירו, הם גם יחתנו - הם עצמם או תלמידיהם ותלמידי תלמידיהם". "אני מניח שאחרי זמן מסוים, כשיראו שיש המונים שמתעניינים בגיורים שלנו, הם יוכרו גם על ידי המדינה".
הרב רבינוביץ נפטר ביום י"ב באייר ה'תש"ף (6 במאי 2020).
משפחתו.
לרב רבינוביץ' שישה ילדים, ובהם הרב מרדכי רבינוביץ, מחבר ספרי "צפה הצפית" על ערוך השולחן ועוד, ודינה רבינוביץ', עיתונאית בריטית.
משנתו ויצירתו התורנית.
יד פשוטה ומשנת הרמב"ם.
הרב רבינוביץ' היה מומחה בולט למשנתו של הרמב"ם ועסק במשך עשרות שנים בכתיבת פירוש יד פשוטה על ספר משנה תורה. במסגרת הפירוש יצאו לאור כרכים על ספרי "מדע", "אהבה", "זמנים", "נשים", "משפטים", "נזקים", "שופטים" ו"זרעים". החל מכרך "זמנים", שותף צוות מתלמידיו בסיוע בהכנת טיוטות הפירוש. שיטתו בפירוש הייתה ביאור הרמב"ם על פי השוואות למקומות אחרים במשנתו, ולראשונים וגאונים שקדמו לו, דוגמת הר"ח והרי"ף. הפירוש כולל גם עיסוק בנוסח.
ספרים נוספים שחיבר הרב רבינוביץ' – "עיונים במשנתו של הרמב"ם", "מסילות בלבבם" ועוד – נוטים לצעוד, על פי רוב, בדרכו ההלכתית והמחשבתית של הרמב"ם.
פסקי הלכה.
הרב רבינוביץ התיר עלייה להר הבית ותמך בכך. במשך שנים עלה אליו בעצמו. מדי שנה בעשרת ימי תשובה עולים לשם תלמידי ישיבתו.
לדעת הרב רבינוביץ' הפעלת חיישנים אינה מוגדרת כמלאכה בשבת. לכן, כל עוד הפעולה נעשית בצורה טבעית וללא כוונה מיוחדת לעשיית המלאכה - הרי שהיא מותרת. לאור זאת הוא התיר פתיחת דלת אלקטרונית והפעלת ברז מים על ידי חיישנים המזהים התקרבות.
לדעת הרב רבינוביץ' מותר לאשה לשאוב חלב אם בשבת כדי להקל על גודש או על מנת להגדיל את ייצור החלב. רצוי לשאוב במשאבה חשמלית מוכנה מראש. מותר לאם לעשות שימוש בחלב הנשאב ואף להקפיא אותו לשימוש עתידי.
לדעתו מוסלמים ונוצרים בימינו אינם נחשבים עובדי עבודה זרה ולא חלים עליהם הדינים שנאמרו על ידי חז"ל ביחס לעובדי עבודה זרה.
הרב רבינוביץ' קיבל להלכה את הגישה המקובלת ברוב המדינות המערביות לפיה מות גזע המוח נחשב מוות, ולכן תמך בתרומת איברים ובחתימה על כרטיס אדי.
התנגד לבדיקות סמני DNA, לצורך קביעת יהדות או ממזרות, וכתב כי "לא רק שאין צורך בזה, אבל בהחלט אסור לעשות בדיקות כאלה לשם כך, ולא עוד אפילו כבר נעשו, אין לסמוך עליהם בשום אופן". לדבריו, "הדין הוא הקובע מי הוא ממזר ומי הוא כשר, הרי זו הגדרה הלכתית טהורה, ואין גילוי המציאות האמיתית לא מעלה ולא מוריד".
תפילה.
בהנהגתו, בישיבת ברכת משה נאמרות הסליחות בנוסח אשכנזי-ספרדי משולב. כמו כן, בימים הנוראים מתקיימות תפילות משולבות: נוסח עדות המזרח בתפילות שחרית ומנחה ונוסח עדות אשכנז בערבית ובמוסף. עם זאת, הוא סבר שיש להימנע מלכפות שינוי בנוסח תוך פגיעה במסורות של העדות. בעקבות מעשה חז"ל באושא () שבו מתואר כי שליח הציבור בתפילה התפלל כמנהגו, סבר הרב רבינוביץ שיש לתת לשליח הציבור לבחור את נוסח התפילה. לדעתו חשיפת המתפללים לנוסחי התפילה השונים תגרום במשך הזמן להתגבשות נוסח תפילה אחיד הכולל אלמנטים מכלל התפוצות.
הרב רבינוביץ הנהיג כמה שינויים בנוסח התפילה. בעקבות דברי הרמב"ם שאין לפנות למלאכים בתפילה השמיט הרב רבינוביץ' קטעים מן הסליחות הכוללים פניות כאלו, למשל "מכניסי רחמים". את המשפט הנאמר בתפילת נחם בתשעה באב "העיר החרבה היושבת מבלי בניה" המתאר את חורבנה של ירושלים, הוא שינה ל"ההר החרב והבית השומם", מאחר שהמשפט אינו מתאר נכונה את מצבה של ירושלים כיום. מסיבה זו הוא פסק שאין חובת קריעה כאשר רואים את ירושלים לאחר שלושים יום.
מדינה, דמוקרטיה וציונות.
בשונה מרוב רבני הציונות הדתית, הרב רבינוביץ לא נמנה עם תלמידי הרב קוק או הרב סולובייצ'יק (אם כי הייתה לו היכרות עם האחרון). לדבריו, את תפיסתו הציונית הוא קיבל "מהתורה".
בעקבות דברי הרמב"ם במשנה תורה () שייתכן שיהיה משיח שיצליח לכונן ממלכה אך לבסוף ייהרג וימות, סבר הרב רבינוביץ' כי לא ניתן לקבוע שהתקופה הנוכחית היא "אתחלתא דגאולה". עם זאת, הוא ראה בשיבת ציון ובמדינת ישראל "הזדמנות היסטורית לחדש את חיי עם ישראל בארצו לאור התורה". הוא דחה את התפיסה שהגאולה תבוא מאליה, ולדעתו יש לפעול לחיזוק המדינה ותיקונה אך עם זאת להכיר בכך שתהליכים היסטוריים אורכים זמן רב.
הרב רבינוביץ' היה מזהה את השיטה הדמוקרטית כיסודית בתורה. הגותו בעניין מרוכזת ברובה במחציתו השנייה של ספרו "מסילות בלבבם". הוא מתבסס בין היתר על "שבעת טובי העיר", מושג המוזכר בתלמוד ובספרות ההלכה, המתאר מנהיגות אזרחית של הקהילה היהודית. הביטוי המופיע בתלמוד הבבלי (): "אין מעמידין פרנס על הצבור אלא אם כן נמלכים בצבור", מציג את הצורך בהסכמה ציבורית למנהיגים. בנוסף, הוא ראה בהפרדה שבין תחומי הסמכות של המלך והסנהדרין כמקור להפרדה הנדרשת בין תחומי הסמכות של המדינה והדת. כתוצאה מכך הוא פסל היבטים שונים של השילוב בין דת ומדינה הנהוגה במדינה ישראל, בעיקר סביב הנושא של המעמד האישי. לתפיסתו גם החוק האזרחי אינו יכול להתערב בענייני דת, גם כאשר הוא מתאים להלכה. גישה זו דומה גם לרעיונות יסוד בהגות הליברלית הקלאסית.
עוד לדבריו, עקרונות דמוקרטיים נוספים נמצאים גם ביהדות. למשל, עיקרון הפרדת הרשויות: מערכת המשפט ההלכתית אינה מופקדת בידי המלך, אלא בידי הסנהדרין, שהמלך כפוף לחכמיה בפעולות כמו יציאה למלחמת רשות. מסיפורי התנ"ך עולה גם יכולת הביקורת של הנביא את מעשי המלך, כגון במשל כבשת הרש. אלמנט הסכמי נוסף הקיים בשלטון היהודי מזכיר הרמב"ם במשנה תורה (הלכות ממרים ב), שם הוא פוסק כי על בית הדין לבדוק האם תקנות, גזרות ומנהגים שברצונם לקבוע יתקבלו בציבור, קודם שיחליט עליהם.
בתחום הפוליטי הביע הרב עמדות ימין (קודם עלותו ארצה, לדבריו, לא העמיק בנושא הסכסוך הישראלי-פלסטיני, והביע עמדות הנוטות לשמאל). הרב רבינוביץ' הביע עמדות נחרצות בתקופת הסכם אוסלו נגד ההסכם ונגד ממשלת ישראל, וצוטט בראיונות כאומר שמי שמוותר על חלקי ארץ, מסכן את המדינה. לאחר אחד מכנסי הרבנים בעניין, אף ארגן צעדת רבנים לביתו של ראש הממשלה במחאה על התוכנית, וצעד בראשה יחד עם הרב אברהם אלקנה כהנא שפירא. באותה תקופה, בדחיפת הרב שבתי זליקוביץ והרב שלום גולד, ייסד יחד עם הרב אברהם אלקנה שפירא את איחוד הרבנים למען ארץ ישראל, בו היה מנותני הטון הבולטים, מה שגרם לגורמים מסוימים לנסות להזיק לו. לאחר רצח רבין נחקר הרב רבינוביץ' בחשד להסתה. החקירות לא הניבו כתב אישום, אך זכו לתהודה רבה בציבור הדתי. בתגובה לחקירתו ולפעילות הגורמים האמורים, הגיע הרב אברהם שפירא באופן מיוחד וחריג למסירת שיעור בישיבת מעלה אדומים במטרה לחזק את ידיו, כשאת מחציתו השנייה הקדיש לדבר בשבחו של הרב רבינוביץ' וחשיבות כבודם של תלמידי חכמים.
הרב רבינוביץ' התנגד למסירת שטחים, דבר שהתפרש בעיניו כחולשה הגורמת לאבדן חיים. תפיסה זו מעוגנת לפי פרשנותו בדברי הרמב"ם "שתחילת נפילה - ניסה" (הלכות מלכים ז, ד). פסק כי יש לסרב פקודה במקרה שנדרשים לפנות שטחי ארץ ישראל, כגון בתוכנית ההתנתקות, היה חבר בוועד רבני יש"ע. טען שאין הצדקה למימוש תוכנית ההתנתקות, גם מבחינה מוסרית, ופסק שאסור לחייל לסייע לה. לדבריו, כל חייל שהשתתף בפינוי עבר על איסור גזל, ולפי ההלכה הוא מחויב להשיב מכיסו את רכושם של האנשים אותם פינה.
יחס לנצרות.
הרב רבינוביץ' פסק שהנוצרים אינם נחשבים לעובדי עבודה זרה, וזאת על בסיס דברי התוספות שאומות העולם לא נצטוו על עבודה זרה בשיתוף. בספרו 'מסילות בלבבם' הוסיף כי במהלך השנים חלו תמורות בנצרות וכיום חלק מהזרמים בה זנחו את אמונת השילוש לטובת אמונת הייחוד. בשנותיו באנגליה השתתף לצד אישים נוספים, במפגשים בין-דתיים עם נציגי הכנסייה האורתודוקסית בלוצרן והקתולית בלונדון.
בשנת תשע"ד פרסם עם הרב דוד סתיו פסק המתיר לקבל כסף מהקרן לידידות לטובת הפעלת קייטנות קיץ. לדבריו, גורמים במשרד החינוך הבהירו כי הקרן לא תשפיע על התכנים המועברים בקייטנה. הוא הוסיף כי קבלת התרומה מהווה הזדמנות לחיזוק הקשר בין ישראל לעמים. בעקבות הצתת כנסיית הלחם והדגים על ידי שני צעירים יהודים בשנת 2015, קרא הרב רבינוביץ להצטרף למימון נזקי השריפה.
הוקרות.
בשנת ה'תשנ"ט (1999) זכה בפרס הרב קוק לספרות תורנית.
בשנת ה'תשע"ב יצא לכבודו קובץ המאמרים "מברכת משה", הכולל שני כרכים ועוסק במשנת הרמב"ם.
בשנת ה'תשע"ה (2015) קיבל תואר דוקטור לשם כבוד מאוניברסיטת בר-אילן.