ב-16 ביוני 1963 התפטר בן-גוריון בפתאומיות מתפקיד ראש הממשלה, מבלי למסור מה הסיבה לכך. מחליפו לוי אשכול קיבל על עצמו את התפקיד הכפול, ראש הממשלה ושר הביטחון, על אף שנשמעו קולות בדבר מינויו של דיין או מינויו של פרס לתפקיד זה. תדמיתו של אשכול הייתה של עסקן אפרורי. השארת תיק הביטחון בידי אשכול סימנה לדיין ולפרס, כמו גם לבני דורם, כי דרכם אל ההנהגה חסומה כל עוד דורו של אשכול, דור העלייה השלישית, בין החיים. בתחילה התפטר דיין, אך לאחר משא ומתן חשאי שב לממשלת אשכול, "על מנת למנוע זעזועים", בתפקיד שר החקלאות. פרס המשיך בתפקיד סגן שר הביטחון. פרט לאבא אבן, שמונה לסגן ראש הממשלה, נותרו "הצעירים" עם השפעה מועטה, רגליהם נדחקו, ומנהיגם, בן-גוריון, היה מחוץ למעגלי ההשפעה הפוליטיים. האקטיביזם המדיני, שאותו סמלו בן-גוריון, פרס ודיין, נראה כמנוגד לרוחה של הממשלה החדשה ולרוחו של העומד בראשה.
באוקטובר 1964 החליט בן-גוריון לחדש את המאבק בלבון בנושא "העסק הביש", בדרישה לחידוש החקירה בשאלה "מי נתן את ההוראה?". בוועידת מפא"י שנערכה בפברואר 1965 נשא בן-גוריון נאום חריף, והמחנות הניצים הסתמנו. מחנה המיעוט, שתמך בבן-גוריון ובחידוש החקירה נגד לבון, כלל את פרס, את דיין, את יוסף אלמוגי, את אבא חושי ואחרים. על אף אירועי הוועידה העמיד בן-גוריון את עצמו לבחירה לראשות מפא"י ביוני 1965. ב-25 במאי 1965 פרס פרש מתפקידו במשרד הביטחון, לאחר שאשכול העמידו על הברירה האם להסתייג מדעת התומכים במועמד אחר (פרט לאשכול) לראשות הממשלה או לפרוש. ימים מעטים לאחר מכן ניצח אשכול בבחירות הפנימיות במפא"י ברוב גדול. נראה כי במהלכים אלו עמד פרס כשחקן פסיבי, כשהוא מתלבט בין תמיכתו בבן-גוריון, לבין האפשרות כי צעדיו של בן-גוריון יביאו לפיצול במפא"י. בסוף יוני הודיע בן-גוריון לחבריו לדעה על ייסוד מפלגה חדשה – "רשימת פועלי ישראל" (רפ"י). פרס, שחדל מלהתלבט, הכריז מיד על הצטרפותו לתנועה. ב"משפט חברים" שנערך במפא"י לפורשים, הודחו בן-גוריון, פרס ואחרים מן המפלגה. פרס מונה למזכיר הכללי של המפלגה החדשה ושובץ במקום השלישי ברשימתה, לאחר בן-גוריון והסופר ס. יזהר.
המפלגה החדשה ניסתה לשדר תדמית צעירה, טכנוקרטית ואקטיביסטית, מול הרפיון שטענה כי אנשי "דור הביניים" במפא"י לקו בו. בן-גוריון קיווה לזכות בכ-25 מנדטים ולהרכיב ממשלה בראשותו עם ה"צעירים" ועם חלק מאנשי מפא"י שתטוהר ממתנגדיו. אולם הקמתה של רפ"י נקשרה בזיכרון הציבורי עם "הפרשה", ונראה כי זו הפסיקה לעניין את הציבור, והעיסוק בה נראה מיותר. בבחירות לכנסת השישית, שנערכו ב-2 בנובמבר 1965 קיבלה רפ"י עשרה מנדטים. מפא"י, שרצה לראשונה כ"מערך" עם אחדות העבודה, זכתה ל-45 מנדטים, והצליחה להרכיב בקלות ממשלה ולהותיר את רפ"י מחוץ לקואליציה.
לאחר שנים רבות של עשייה ביטחונית ועלייה הדרגתית בעמדות ההשפעה, מצא עצמו עתה פרס לראשונה, יחד עם בן-גוריון, דיין, אלמוגי ואחרים, באופוזיציה, נטול השפעה ממשית. הוא המשיך בתפקידו כמזכ"ל רפ"י, ושימש באופוזיציה בכנסת. על אף המיתון הכלכלי שאפיין תקופה זו והדעה הרווחת כי אשכול אינו איש ביטחון וכי יש להחליפו בתפקיד שר הביטחון, הייתה ממשלת אשכול יציבה, וניסיונות אנשי רפ"י לנגחה מבחוץ לא צלחו.
עם המשבר במאי 1967, שהביא לפרוץ מלחמת ששת הימים, נכונה "ממשלת הליכוד הלאומית", שהתבססה על צירופן של רפ"י וגח"ל לממשלה, ומינויו של איש רפ"י, דיין, כשר ביטחון. במהלך המשבר, בישיבת ראשי רפ"י ב-21 במאי 1967 ניסה בן-גוריון להניע את רפ"י להתנגד לממשלת האחדות, ולדרוש את התפטרות אשכול. פרס מנע מהלך זה ותמך מאחורי הקלעים במהלך המורכב שהביא את דיין למשרד הביטחון. בפומבי הכריז כי רפ"י מוכנה להתפרק אם הדבר יידרש.
הן לפני המלחמה, שלה התנגד בן-גוריון, והן לאחריה, נראה היה כי בן-גוריון מצוי בשקיעה, וכי המפלגה, שהוקמה כגחמה אישית שלו, אינה בעלת זכות קיום עוד. עם תום המלחמה החליט פרס לפעול לאיחוד בין רפ"י ומפלגת האם שממנה פרשה. הוא הוביל מגעים אלו, על אף דעתו המנוגדת של בן-גוריון. בדצמבר 1967 קיבלו מוסדות רפ"י החלטה ברוב קטן להתאחד עם מפא"י ועם אחדות העבודה למפלגה אחת שתקרא "מפלגת העבודה". עם זאת, לממשלה צורף בשלב זה יוסף אלמוגי, ולא פרס.
שר בממשלת גולדה מאיר (1969-1970).
בתקופה שלאחר מלחמת ששת הימים דרך כוכבו של משה דיין, והוא נחשב ליורשם הוודאי של אנשי מפא"י הוותיקים מקרב דור "הצעירים" שאליו השתייך פרס. בבחירות הפנימיות שנערכו בשנת 1969 ברפ"י כחטיבה במפלגת העבודה נחל פרס מפלה, כאשר גד יעקבי הצעיר הקדים אותו וזכה במקום הראשון המבטיח משרת שר. בצעד יוצא דופן ויתר יעקבי על משרת השר לטובת פרס, ששובץ במקום ה-12 ברשימת המערך לקראת הבחירות לכנסת השביעית.
לאחר ניצחון המערך בבחירות צורף פרס לממשלה בראשות גולדה מאיר, תחילה כ"שר בלי תיק האחראי לפיתוח הכלכלי של השטחים". אך ב-22 בדצמבר 1969, כשבוע לאחר כניסתו לממשלה, קיבל את תפקיד השר לקליטת העלייה, וב-1 בספטמבר 1970 מונה להיות לשר התחבורה ולשר התקשורת. פרס היה הראשון שנשא בתואר "שר התקשורת" שהחליף את "שר הדואר". בעמדותיו בנוגע לשטחים שנכבשו במלחמת ששת הימים הוא בלט בתמיכתו בהתיישבות נרחבת, ובכלל זה ברצועת עזה ובסיני, בעיקר בין טאבה לבין שארם א-שייח'.
לפי תחקיר שפורסם בידיעות אחרונות בשנת 2000, פרס היה מעורב בשנת 1969 בטיוח חקירה של תאונה, שבה נהרג חייל כתוצאה מפליטת כדורים מנשקו של בנו של פרס, יוני. בתגובה לתחקיר אמר פרס כי לא היה טיוח.
ההתמודדות הראשונה מול רבין (1974).
אל ממשלת ישראל ה-16, שהוקמה לאחר מלחמת יום הכיפורים והבחירות לכנסת השמינית (שבהן שובץ שוב במקום ה-12), צורף פרס כשר ההסברה. ההצטרפות לממשלה, שנראה היה כי ימיה ספורים, ואשר בראשה ישבו גולדה ודיין, שסומנו מבחינה ציבורית כאחראים למחדל החמור של המלחמה, לא הייתה קלה, אך פרס רצה לשמור על עמדת זינוק להנהגה. כאשר התפטרה גולדה, כחודש לאחר הקמת הממשלה, ובעקבותיה דיין, הוצעה בתחילה ראשות הממשלה לפנחס ספיר, "ממליך המלכים" הוותיק, אך הוא סירב. במפלגת העבודה נותרו שני שרים בעלי עבר ביטחוני, שלא הוכתמו בכתם "המחדל": יצחק רבין ושמעון פרס. הבחירה נערכה בין 611 חברי מרכז מפלגת העבודה. בתחילה הסכימו השניים באופן חשאי כי המפסיד יקבל את מרותו של המנצח, ואילו המנצח יאפשר למפסיד לבחור את התפקיד שיינתן לו בממשלה, אך לאחר מכן הידרדרה מערכת הבחירות למערכת מתוחה, ובשיאה, ביום ההתמודדות, פרסם עיתון "הארץ" את סיפורו של עזר ויצמן בדבר התמוטטותו של רבין ערב מלחמת ששת הימים. רבין סבר שידו של פרס בפרסום; הייתה זו פתיחה קשה למערכת היחסים בין האישים. בהתמודדות עצמה, ב-22 באפריל 1974, זכה רבין ב-54% מן הקולות, ובתפקיד ראש הממשלה. אך הישגו של פרס, 46%, היה כזה שהבטיח לו משרה רמה בממשלה הבאה, והראה כי כוחו חזק במנגנון המפלגתי. כאשר הקים רבין את ממשלתו, הוא מינה את פרס לשר הביטחון, "בלב כבד", כפי שהגדיר זאת בזיכרונותיו.
שר הביטחון (1974-1977).
הנושאים הביטחוניים העיקריים שעמדו בפני ממשלת רבין הראשונה היו המשא ומתן על הסכם הביניים עם מצרים, שיקומו של צה"ל מנזקי המלחמה וניסיונות להגיע לפריצת דרך מדינית עם ירדן. הצוות המוביל – רבין, פרס ויגאל אלון – פעל בניסיון לשיתוף פעולה וניהל בצוותא את המשא ומתן המסובך על הסכם הביניים ואת הפגישות הסודיות עם חוסיין, מלך ירדן, אך עד מהרה התברר כי בין רבין ובין פרס חילוקי דעות בלתי ניתנים ליישוב, שהפכו ליריבות אישית מרה. רבין נטה לעמדה "יונית" של פשרה טריטוריאלית עם ירדן, על פי עקרונות תוכנית אלון. פרס לעומתו נחשב ל"נץ" ותמך ב"פשרה פונקציונלית" במתווה שהתווה קודמו בתפקיד, משה דיין, שמשמעותה השארת השטחים בשליטת ישראל, וחלוקה לא של השטח אלא של הסמכויות השלטוניות.
חילוקי דעות אלו הביאו למספר משברים. בדצמבר 1975 עלו מתנחלי גוש אמונים והתיישבו בסבסטיה שליד שכם, בהתנחלות שאותה כינו "אלון מורה". אלון ורבין ביקשו לפנות את המתנחלים, אך פרס העניק להם סיוע ותמיכה בממשלה. הפשרה שהושגה בסוף, ביוזמתו של ישראל גלילי, הייתה כי המתנחלים יעברו ל"מחנה זמני" בקדום, שהפך לאחר מכן ליישוב הקבע קדומים, ובכך למעשה נענתה הממשלה לדרישת המתנחלים. באותה שנה אישרה הממשלה את הקמת ההתנחלות עפרה, ופרס התכבד בנטיעת העץ הראשון ביישוב. בשנת 1977 השתתף פרס בוועדת השרים לענייני התיישבות שהחליטה לרכוש קרקעות להקמת ההתנחלות אריאל.
במרץ 1976 התיר פרס עריכת בחירות מוניציפליות ביהודה ושומרון וחבל עזה, והרחיב את זכות הבחירה מעבר לנדרש על פי החוק הירדני, גם על מי שאינו בעל רכוש. בבחירות אלו ניצחו הקיצונים, והודחו ראשי ערים ותיקים. רבין טען כי "הממשלה טעתה ונקטה במהלכים שלא הוסיפו לה יוקרה". לכל היה ברור כי המדובר בפרס. המשבר בין השניים החריף עד שהתקשורת ביניהם נעשתה באמצעות פורום פנימי של אנשי המפלגה. פרס הרהר בפומבי על החלפתו של רבין, ואף שיתף במחשבותיו אלו את ראשי הליכוד והמפד"ל. על תקופה זו כתב רבין בזיכרונותיו את המשפט המפורסם – "היה ברור לי, כי מנוי וגמור עם שמעון פרס, כי הוא וראשות הממשלה בישראל ראויים זה לזה ואין להפריד. הנחת היסוד ה'מוצקה' שעליה ביסס חתרן בלתי נלאה זה את אשליותיו הייתה, שבינו לבין ראשות הממשלה אין מחסום, אלא – יצחק רבין". הכינוי "חתרן בלתי נלאה" רדף את פרס מאז.
מבצע יונתן (1976).