רובינשטיין היה חבר צוות המשא ומתן בראשות ראש הממשלה יצחק שמיר לכינוס ועידת מדריד, וזו נתכנסה – לאחר סבבי ביקור רבים של מזכיר המדינה ג'ים בייקר החל מתום מלחמת המפרץ הראשונה במרץ 1991 – בשלהי אוקטובר 1991. בין הישגי ישראל במשא ומתן היה קיומה של משלחת ירדנית-פלסטינית משותפת, דרישה ישראלית שנתקבלה לעת ההיא, ובה נציגים פלסטינים מיו"ש ועזה בלבד, בלא השתתפותו של אש"ף (גם אם ידעה ישראל שהפלסטינים במשלחת מתייעצים, בחלקם לפחות, עם אש"ף). הסובייטים, כתנאי להיותם נותני חסות למדריד יחד עם ארצות הברית, נתבעו והסכימו לחדש יחסים דיפלומטיים עם ישראל. היה זה גם תנאי לכל מי שביקשו בהמשך להצטרף למשא ומתן הרב צדדי, שנוהל בנושאים שונים, וכאלה נכללו הודו וסין. ועידת מדריד התכנסה במליאתה חד פעמית והשתתפו גם סוריה, לבנון וכן מצרים ומיד לאחריה הוחל במשא ומתן דו-צדדי. במדריד הייתה לחיצת היד הראשונה בין ירדני, פלסטיני וישראלי – רובינשטיין מטעם ישראל, ד"ר עבד אל-סלאם מג'אלי הירדני וד"ר חידר עבד אל-שאפי הפלסטיני. החל במדריד והמשך בוושינגטון עמד רובינשטיין בשנים 1991–1993 בראש משלחת ישראל במשא ומתן עם הירדנים והפלסטינים. בוושינגטון החל המשא ומתן בדצמבר 1991 ב"שיחות הספה", שבהן במשך מספר שבועות התנהלו שיחות על המסגרת הדיונית למשא ומתן, אשר בטרם השגחה סירבו הירדנים והפלסטינים להיכנס לאולם הדיונים ועמדו על הפרדה ביניהם. סוף דבר שהושגה בינואר 1992 הסכמה על שני ערוצי שיחות, הערוץ הירדני ובו תשעה ירדנים ושני פלסטינים והערוץ הפלסטיני ובו תשעה פלסטינים ושני ירדנים, וכן פורום רחב שנקרא "הפגישה הכללית".