עם חזרת יצחק שמיר לתפקיד ראש הממשלה כראש ממשלת ישראל העשרים ושתיים, בעקבות קיום הסכם הרוטציה, נתמנה רובינשטיין למזכיר הממשלה, תפקיד בו המשיך לכהן בממשלות הבאות של שמיר ולאחר מכן כשנתיים נוספות לבקשתו של יצחק רבין, שהחזיר אותו מתפקיד בו החל כמשנה וממלא מקום ליועץ המשפטי לממשלה. בסך הכל כיהן כמזכיר הממשלה בין 1986 ל-1994. בתפקידו זה השתתף בדיונים מדיניים עם מצרים, ירדן והפלסטינים. השתתף בוועידת מדריד ובשיחות וושינגטון (1991–1993) כראש משלחת ישראל לשיחות השלום עם המשלחת הירדנית-פלסטינית. היה ראש משלחת ישראל למשא ומתן עם ירדן (1993–1994), שהניב את הסכם השלום בין ישראל לירדן, והיה ראש המשלחת בהסכמי היישום של חוזה השלום (1994–1995). חוזה השלום עם ירדן הסדיר, בין השאר, את גבול ישראל-ירדן. גבול זה לא סומן מעולם (למעט קטע קטן בדרומו) והתבסס על הגדרות מנדטוריות תאוריות. משנות השבעים עיבדו יישובי הערבה ברשות ממשלות ישראל אדמות ממזרח לקו שביתת הנשק. בחוזה השלום, על ידי חילופי שטח, הוכנסו כל אדמות העיבוד לריבונות ישראל, למעט הסדרים מיוחדים כצופר ובנהריים.