עוד קבע רובינשטיין בתפקידו זה כי אסור לקיים שירות רפואי פרטי (שר"פ) בבתי החולים הממשלתיים, וכן היה היועץ המשפטי הראשון שהביע בפני בית המשפט עמדה ליברלית ביחס לזכות למות בכבוד, ולמעשה קבע כי משחולה מסרב בדעה צלולה לטיפול מציל חיים - לא חלה על הרופא חובה משפטית לטפל בו, ולפיכך לא יהיה הרופא שיעמוד מנגד צפוי לאישום בגין גרימת מוות, או הריגה, במחדל. בכהונתו חודשו לאחר שנים רבות הנחיות היועץ המשפטי לממשלה, המהוות קודכס מחייב בשירות הציבורי. בין היתר נעשו פעולות באשר לשילוב נשים, בני מיעוטים ובעלי מוגבלויות במגזר הציבורי. הוא ראה חשיבות לסיוע לאזרח ולתושב הפונה אל מול השלטונות, וכן בסיוע לסניגוריה הציבורית שזה עתה קמה. הוא הירבה להרצות בפני קהלים שונים, ובימיו שולש כמעט מספר הפניות ללשכת היועץ המשפטי לממשלה.
כהונתו כשופט בית המשפט העליון.
ב-24 במאי 2004 מונה לכהונת שופט בבית המשפט העליון. כיהן כיו"ר ועדת הבחירות המרכזית בבחירות לכנסת התשע עשרה. מאז ינואר 2015 היה המשנה לנשיאת בית המשפט העליון מרים נאור, לאחר פרישת הנשיא הקודם השופט אשר גרוניס. ב-13 ביוני 2017, בהגיעו לגיל 70, פרש לגמלאות. כשנה לאחר מכן, ב-2018, מונה לפרופסור חבר במסלול הנלווה באוניברסיטה העברית, והוא עתיד ללמד במחלקה למדע המדינה, ובבית הספר פדרמן למדיניות ציבורית וממשל.
סגנונו.
כשופט בבית המשפט העליון הרבה רובינשטיין להתייחס למשפט העברי. בנוסף, רובינשטיין מקנא לשפה העברית ומבקש למצוא מונחים עבריים למילים לועזיות ובפסקי דינו הוא מציין את הסעיפים באותיות עבריות ולא בספרות. רובינשטיין גם נוהג יותר מרוב עמיתיו לשתף את קוראי פסקי דינו בהתלבטויותיו. במקרה אחד כתב: "הכרעה זו ניתנת בחירוק שיניים." באחד מפסקי דינו העיד על עצמו: "נטייתי הכללית היא לגמישות המאפשרת "דרכי אמצע" ולא פתרונות של שחור ולבן". לצדדים בבית המשפט, ובמיוחד לרשויות ציבוריות, הוא המליץ "להאזין להצעות פשרה שמציע בית משפט ... המועלות לאחר התייעצות ועיון" וכן המליץ שנציג מוסמך של רשויות ציבוריות יגיע לדיון בבית המשפט כדי להתרשם מהדיון, להבין לאן הרוח נוטה ולהחליט בהצעות פשרה בהתאם.
השתתפות בתהליך השלום.
רובינשטיין השתתף במשא ומתן לשלום עם המדינות השכנות של מדינת ישראל במשך קרוב לרבע מאה, החל משנת 1977 ועד שנת 2000. הוא אחד הבודדים בישראל שהיה מעורב במשאים ומתנים בכל הגזרות סביב ישראל - מצרים, לבנון, ירדן, סוריה והפלסטינים.
מצרים.
ראשית הדברים במשא ומתן עם מצרים. מאז מינויו כעוזר שר החוץ משה דיין (בתואר מנהל לשכת השר ויועץ לשר) ביוני 1977 היה רובינשטיין מעורב במגעים עם ארצות הברית, שמוקדו אז בניסיון לכינוס ועידת ז'נבה, בהמשך לוועידה בכינוי זה על שם מקום כינוסה, ב-1973. המגעים קוימו תחילה בארץ ביולי-אוגוסט 1977, ואחר כך בוושינגטון ובניו יורק בספטמבר-אוקטובר 1977. ב-19 בנובמבר 1977 היה רובינשטיין (לפי הזמנת דיין) בין מקבלי פניו של הנשיא המצרי אנואר סאדאת בנמל התעופה בן-גוריון. בדצמבר 1977 התלווה לדיין במשא ומתן במרוקו בחסות המלך חסן, עם חסן תוהאמי שליח הנשיא סאדאת. בהמשך השתתף במשא ומתן עם מצרים באמצעות ארצות הברית, וכן במשא ומתן הישיר עם המצרים בהשתתפות ארצות הברית (טירת לידס בבריטניה, יולי 1978). היה חבר משלחת ישראל לועידת קמפ דייוויד בספטמבר 1978 (5 – 17 בספטמבר), ובהמשך, חבר המשלחת והדווח העיקרי למשא ומתן על חוזה השלום בוועידת בליר האוס בוושינגטון (אוקטובר-נובמבר 1978) וכן במאמצי ההמשך (ובהם "קמפ דייוויד" 2 בפברואר 1979) עד להשגת חוזה השלום עם מצרים במרץ 1979. רובינשטיין השתתף במשלחת לטקס החתימה בוושינגטון ב-26.3.79, ולקראתו עסק גם במזכר ההסכמה בין ישראל לארצות הברית שנחתם לחיזוק חוזה השלום ביום חתימתו ב-26.3.79. בהמשך פעל באינטנסיביות ביחסי ישראל-מצרים כסמנכ"ל משרד החוץ לתפקידים מיוחדים ואחר כך כסמנכ"ל ליישום חוזה השלום עם מצרים, מינואר 1980. הוא קיבל את פניו של השגריר המצרי הראשון סעד מורתדא בפברואר 1980, והיה איש הקשר שלו לממשל בראשית כהונתו, ואחר כך היה מראשי צוות ההיגוי לשיחות הנורמליזציה עם מצרים, תחילה בוועדת היגוי בראשות משרד הביטחון כנציג, הבכיר של משרד החוץ, ולימים – ממאי 1980 – במשרד החוץ, וכך עד פינוי סיני הסופי באפריל 1982, במסגרת זאת - מקיץ 1981 כיועץ משפטי למשרד החוץ - עסק במשא ומתנים השונים על הסכמי הנורמליזציה, כאחד מראשי ההיגוי. הושגו עשרות רבות של הסכמים במגוון תחומים, שלא כולם קוימו, וחלקם קוימו חלקית. רובינשטיין מילא תפקיד עיקרי בכך שהסכמי נורמליזציה שנערכו בירושלים ייחתמו בה תוך אזכור ירושלים (עם שם המלון, כדי שהמצרים יוכלו לומר שהיה זה במערב ולא במזרח ירושלים). בין ההסכמים ראויה לציון, בין השאר, השגת ההסכם ב-1982 להקמת המרכז האקדמי הישראלי בקהיר, שעמד בתמורות העתים. במקביל היה רובינשטיין מ-1980 חבר הצוות לשיחות האוטונומיה עם מצרים בראשית חיים קוברסקי, מנכ"ל משרד הפנים, וזאת עד הפסקתן באמצע 1982.
לבנון.
רובינשטיין היה חבר בכיר בצוות המשא ומתן על ההסכם עם לבנון, בשיחות שקוימו בח'אלדה (ליד בירות) ובקרית שמונה בין נובמבר 1982 למאי 1983. ההסכם, שהיה במהותו קרוב להסכם שלום בתחומי הביטחון והיחסים הדו-צדדיים, אך כותרתו הייתה "הסכם" גרידא, נחתם ב-17 במאי 1983 בשני טקסים בח'אלדה וקרית שמונה, ואושרר בישראל ובלבנון, אך טורפד על ידי הסורים שהתחזקו לאחר תקופת חולשה. ההסכם הושג בסיוע ארצות הברית, לרבות מזכיר המדינה ג'ורג' שולץ. בראש משלחת ישראל עמד ד"ר דוד קמחי, מנכ"ל משרד החוץ, וראש משלחת לבנון היה ד"ר אנטואן פתאל, לשעבר מנכ"ל משרד החוץ. מטעם ארצות הברית ייצגו במשא ומתן השגרירים פיליפ חביב ומוריס דרייפר.
ירדן והפלסטינים.
רובינשטיין היה חבר צוות המשא ומתן בראשות ראש הממשלה יצחק שמיר לכינוס ועידת מדריד, וזו נתכנסה – לאחר סבבי ביקור רבים של מזכיר המדינה ג'ים בייקר החל מתום מלחמת המפרץ הראשונה במרץ 1991 – בשלהי אוקטובר 1991. בין הישגי ישראל במשא ומתן היה קיומה של משלחת ירדנית-פלסטינית משותפת, דרישה ישראלית שנתקבלה לעת ההיא, ובה נציגים פלסטינים מיו"ש ועזה בלבד, בלא השתתפותו של אש"ף (גם אם ידעה ישראל שהפלסטינים במשלחת מתייעצים, בחלקם לפחות, עם אש"ף). הסובייטים, כתנאי להיותם נותני חסות למדריד יחד עם ארצות הברית, נתבעו והסכימו לחדש יחסים דיפלומטיים עם ישראל. היה זה גם תנאי לכל מי שביקשו בהמשך להצטרף למשא ומתן הרב צדדי, שנוהל בנושאים שונים, וכאלה נכללו הודו וסין. ועידת מדריד התכנסה במליאתה חד פעמית והשתתפו גם סוריה, לבנון וכן מצרים ומיד לאחריה הוחל במשא ומתן דו-צדדי. במדריד הייתה לחיצת היד הראשונה בין ירדני, פלסטיני וישראלי – רובינשטיין מטעם ישראל, ד"ר עבד אל-סלאם מג'אלי הירדני וד"ר חידר עבד אל-שאפי הפלסטיני. החל במדריד והמשך בוושינגטון עמד רובינשטיין בשנים 1991–1993 בראש משלחת ישראל במשא ומתן עם הירדנים והפלסטינים. בוושינגטון החל המשא ומתן בדצמבר 1991 ב"שיחות הספה", שבהן במשך מספר שבועות התנהלו שיחות על המסגרת הדיונית למשא ומתן, אשר בטרם השגחה סירבו הירדנים והפלסטינים להיכנס לאולם הדיונים ועמדו על הפרדה ביניהם. סוף דבר שהושגה בינואר 1992 הסכמה על שני ערוצי שיחות, הערוץ הירדני ובו תשעה ירדנים ושני פלסטינים והערוץ הפלסטיני ובו תשעה פלסטינים ושני ירדנים, וכן פורום רחב שנקרא "הפגישה הכללית".
עם חילופי הממשל בישראל ביוני 1992 התבקש רובינשטיין על ידי ראש הממשלה החדש-ישן יצחק רבין ע"ה לחזור מתפקיד בו החל, משנה וממלא מקום ליועץ המשפטי לממשלה, לכהונה כמזכיר הממשלה וכראש המשלחת למשא ומתן. בהמשך הושג (נובמבר 1992) "הסכם סדר היום" עם ירדן, שקבע את מתוה ההמשך בנקודות העיקריות בדרך להשגת הסכם שלום. ההסכם נחתם בחשאי בראשי תיבות, ורק יום אחרי שנחתם הסכם אוסלו, אשר נעשה במעקף למשלחת ישראל בוושינגטון וללא ידיעתה, נחתם הסכם סדר-היום ב-14.9.93 בטקס צנוע במחלקת המדינה בוושינגטון. יצוין כי במהלך תקופת המשא ומתן עם הפלסטינים בוושינגטון, שהייתה אינטנסיבית ועל פי הוראות יומיומיות מדויקות של ראש הממשלה רבין, הושגה בניגוד לדימוי רווח, התקדמות מסוימת בסיוע ארצות הברית, אך לימים הוברר כי היא נבלמה בגלל קיומו של המשא ומתן באוסלו, שנעשה באורח חשאי ובשיתוף אש"ף, בניגוד להנחיות שניתנו למשלחת בוושינגטון. בהסכם אוסלו נכללו נושאים שהיו "טאבו" לפי ההנחיות למשלחת וושינגטון, כמו ירושלים כנושא למשא ומתן, ואשר אושרו לאנשי אוסלו.
הסכם השלום עם ירדן.
רובינשטיין עמד בראש משלחת המשא ומתן לשלום עם ירדן לאורך כל הדרך מהחל ועד כלה, ממדריד ב-1991 עד החתימה על חוזה השלום בערבה ב-1994, ולאחר מכן בראש המשלחת למשא ומתן על הסכמי היישום, עד שביולי 1995 התמנה לבית המשפט המחוזי. יצוין כי עוד החל מאביב 1991, בעיקר יחד עם אפרים הלוי, אז המשנה לראש המוסד, החל רובינשטיין בביקורים חשאיים בירדן שהניחו תשתית ליחסים. יצוין כי במפגשים חשאיים עם ירדן השתתף רובינשטיין עוד מ-1986, מעת התמנותו לכהונת מזכיר הממשלה, לרבות בפגישות ראשי הממשלה שמיר ורבין עם המלך חוסין ואחיו הנסיך חסן.