חילוקי הדעות בין צמרת מפא"י לבן-גוריון הובילו להחלטת מזכירות המפלגה להדיח את לבון מתפקיד מזכ"ל ההסתדרות. ב-4 בפברואר כונס מרכז המפלגה כדי להצביע על ההחלטה. בן-גוריון לא הגיע לישיבה, שבה תקף אותו משה שרת בנאום נגד הדחת לבון: "לא הכבוד והצדק משמשים נר לרגלינו, כי־אם הפחד והחשבון [...] חבר אחד ויחיד בתוכנו, בא לידי מסקנה כי לבון אינו יכול להמשיך בתפקידו כמזכיר ההסתדרות, ואם לא יסולק, אז החבר ההוא יסיק מזה מסקנות [...] אצלנו לא ייתכנו תכתיבים". חברי המרכז הצביעו בעד ההדחה, שהביאה לקרע גלוי בין בן-גוריון לבין הצמרת הוותיקה. בן-גוריון ניהל בו-זמנית שני מאבקים, פוליטי נגד לבון ועקרוני בעד חקירה משפטית, אך עירב אותם זה בזה, והמאבק הפוליטי שמט את היסוד המוסרי של המאבק העקרוני. בציבור הרחב הצטייר בן-גוריון כצד בפרשה וכדורש ועדת חקירה, אף על פי שאת האשם כבר מצא. לדברי מיכאל בר-זוהר, הדחת לבון פגעה קשות בתדמיתו המוסרית: היא "ערערה את אמינותו, הציגה אותו כנקמן וכדיקטטור הכופה רצונו". לדבריו, "הדחת לבון סימלה את ראשית הקץ של שלטונו".
1961–1963.
מספר ימים לאחר הדחת לבון, ניסה בן-גוריון להקים ממשלה חדשה, אולם מפ"ם ואחדות העבודה סירבו להצטרף לממשלה בראשותו והוא נכשל גם בהקמת קואליציה צרה עם הפרוגרסיבים והדתיים. מפ"ם ו"אחדות העבודה" הסכימו להצטרף לממשלה בראשות לוי אשכול, בה יכהן בן-גוריון כשר ביטחון, אולם הוא סירב לשבת בממשלה עם שתי המפלגות שפסלו אותו. הוא הציע למזכירות המפלגה שיצא מהממשלה והמליץ על אשכול להחליפו בראשותה. אלא שהצמרת הוותיקה של מפא"י סירבה לקבל את תכתיבי מפלגות המיעוט והחליטה ללכת לבחירות. ב-15 באוגוסט 1961 נערכו "בחירות הפרשה", בהן הפסידה מפא"י חמישה מושבים בכנסת. בשל הביקורת הציבורית הקשה שהופנתה נגדו, העדיף בן-גוריון בספטמבר להתבודד בשדה בוקר ולוי אשכול לקח על עצמו את מלאכת הרכבת הממשלה. ב-2 בנובמבר הציג בן-גוריון את ממשלתו החדשה, שכללה בסופו של דבר את "אחדות העבודה".
בדצמבר 1961 נסע בן-גוריון לבורמה כדי להתבודד במנזר בודהיסטי ולהתעמק בתורת בודהה.
בשנת 1962 קיבל מן הטכניון בחיפה תואר כבוד של "דוקטור לאדריכלות" (היחיד בקטגוריה זו) על בניית המדינה.
ביולי 1962 שיגרה מצרים ארבעה טילי קרקע-קרקע בעלי טווח ארוך, ואילו עשרים אחרים הוצגו בקהיר במצעד של יום המהפכה. בעקבות זאת, התחולל משבר המדענים הגרמנים במצרים, שעורר חרדה רבה בקרב ראשי מערכת הביטחון, משום שהמומחים הישראלים חששו שמצרים תחמש את טיליה בראשי חץ לא-קונבנציונליים. ישראל פנתה בנושא לשר הביטחון של גרמניה, אולם בן-גוריון לא רצה לפגוע ביחסים איתה וסירב לפנות לאדנאואר. במקום זאת, אישר לאיסר הראל לפעול באופן סמוי נגד המדענים. לאחר מעצרם של שני סוכני "מוסד" ישראלים בשווייץ, חשף הראל בפני עורכי העיתונים את נושא המדענים. בעקבות הסערה הציבורית שהתחוללה, אישר בן-גוריון למסור הודעה מדינית, שקבעה כי "העם הגרמני לא יוכל לפטור עצמו מאחריות" לפעילות המדענים וכי "מחובתה של ממשלת גרמניה להפסיק לאלתר" את פעילותם זו של אזרחיה. רוב הנואמים בישיבת הכנסת ביקרו את מדיניותו של בן-גוריון כלפי גרמניה. ב-25 במרץ 1963 מסר ראש אמ"ן, מאיר עמית, לבן-גוריון הערכת מצב שונה מאוד מזו שמסר לו ראש המוסד לגבי סכנת המדענים, ונתברר כי הבהלה שאחזה בצמרת המדינה הייתה מוגזמת מאוד. בן-גוריון הודיע להראל כי בכוונתו להביא את הדברים לוועדת החוץ והביטחון. בעקבות זאת, התפטר הראל מתפקידו ובן-גוריון מינה את עמית לראש המוסד.
בין דצמבר 1961 למאי 1963, יזם בן-גוריון שלושה ניסיונות להיפגש עם נשיא מצרים, נאצר, באמצעות ראש ממשלת בורמה, או נו, נשיא יוגוסלביה, טיטו, ועורך סאנדיי טיימס הלונדוני, צ'ארלס ד. המילטון , אולם כל היוזמות נתקלו בסירוב.
בפברואר ומרץ 1963 חוללה מפלגת הבעת' הפיכות בעיראק ובסוריה ובאפריל הקימו שתי המדינות עם מצרים את "הפדרציה הערבית". בן-גוריון נתקף חרדה עמוקה ושלח עשרות מכתבים לראשי מדינות בעולם, ובראשם קנדי וחרושצ'וב, מהם ביקש לדרוש בעצרת הכללית הקרובה ממדינות ערב, "שיכבדו עקרונות האו"ם" ויתחייבו "לכבד שלמותה הטריטוריאלית, עצמאותה וריבונותה של כל אומה". אלא ש"הפדרציה הערבית" נתגלתה כריקה מתוכן, כל בקשותיו של בן-גוריון נדחו והמתקפה הדיפלומטית שלו נחלה כישלון.
בעקבות הבחירות ב-1961, גבר חששו של בן-גוריון מפני עליית "חירות" לשלטון, והדבר הניע אותו לחדש את יוזמתו לאיחוד מפא"י עם "אחדות העבודה". במכתב שכתב למשה שרת ב-21 במרץ 1963, הזהיר מפני "השתלטות בגין, תלמיד היטלר מובהק לגבי משטר ממלכתי", שינהיג "דיקטטורה". שלטונו "יביא אחריו חורבן המדינה" ו"יהפוך את ישראל למפלצת". ב-15 במאי 1963 הסביר במכתב לחיים גורי כי "בגין הוא טיפוס היטלריסטי מובהק, גזעני, מוכן להשמיד את כל הערבים למען שלמות הארץ...ואני רואה בו סכנה חמורה למצב הפנימי והחיצוני של ישראל". הוא התנבא שאם בגין יתפוס את השלטון, הוא "ישלוט כמו שהיטלר שלט בגרמניה...בהרפתקאות מדיניות יחריב את המדינה... אין לי ספק שבגין שונא להיטלר – אבל אין שנאה זו מוכיחה שהוא שונה ממנו".
באפריל 1963 נפטר הנשיא יצחק בן-צבי. למחרת מותו, הציע בן-גוריון את נשיאות המדינה לזלמן שזר, שנבחר לנשיא השלישי של מדינת ישראל.
במאי 1963 שלח נשיא ארצות הברית, ג'ון קנדי, איגרת חריפה לבן-גוריון, בה תבע בתוקף לאפשר ביקורים נוספים של מומחים אמריקנים בכור האטומי בנגב. בן-גוריון השיב שישראל לא תסכים ליותר מביקור אחד בשנה.
ב־16 ביוני 1963 הודיע בן-גוריון על התפטרותו מראשות הממשלה. הוא הסביר כי הוא מתפטר "מתוך צרכים אישיים", אולם סירב לפרט את הסיבות. עם זאת, נראה כי התפטרותו באה כשהיה במתח נפשי רב.
בן־גוריון שימש בתפקיד ראש ממשלת ישראל בשתי תקופות, שמנו 13 שנים ו־127 ימים בסך הכול.
באופוזיציה 1963–1970.
1963–1965.
בן־גוריון המליץ על לוי אשכול כיורשו בראשות הממשלה, אך במהלך השנה הראשונה לכהונתו של אשכול, חלה החרפה משמעותית ביחסים ביניהם, בשל שני נושאים עיקריים: התעוררותה מחדש של פרשת לבון ביוזמת בן־גוריון, ויוזמת הצמרת הוותיקה של מפא"י לכונן "מערך" בין מפא"י ואחדות העבודה – פועלי ציון, שמשמעותה בלימת מחנה "הצעירים" בני טיפוחיו של בן־גוריון. מלבד זאת, ניסה אשכול לבסס את מעמדו כראש המפלגה והמדינה באמצעות מספר יוזמות שנגדו את הקו הישן של בן־גוריון. לתיאור מדיניותו זו של אשכול, טבע העיתונאי אורי אבנרי במגזין "העולם הזה" את הביטוי "דה־בנגוריוניזציה".
לאורך כל תקופת כהונתו כראש הממשלה, התעקש בן־גוריון שלא למלא את בקשת זאב ז'בוטינסקי בצוואתו, שממשלה יהודית תעלה את עצמותיו לארץ ישראל. מתוך רצון לשנות את הקו של בן־גוריון לקו פייסני יותר, החליטה ממשלת אשכול במרץ 1964 להעלות את עצמותיו של ז'בוטינסקי לישראל. בן־גוריון חשש כי העלאת העצמות תעניק ל"חירות" לגיטימציה בציבור הרחב ובאפריל תקף את ההחלטה באמצעות סדרת מאמרים חריפים ב"דבר", בהם תקף את ז'בוטינסקי.
עוד בסוף 1962 פנה בן־גוריון לעיתונאי חגי אשד, בבקשה שיחקור את נושא "הפרשה". אשד חקר את כל החומר הנוגע ל"עסק הביש" ב־1954 וגם את התנהלותה של "ועדת השבעה" ב־1960. יום לאחר התפטרותו ב־1963, קיבל בן־גוריון את חיבורו של אשד, שהגיע למסקנה כי לבון אכן נתן את ההוראה לפעולה במצרים. ב־14 במרץ 1964 דרש בן־גוריון מאשכול "בירור משפטי" להתנהלותה של "ועדת השבעה" ונענה בשלילה. ב־2 במאי שלח אשכול מכתב לשלושה מראשי קבוצת "מן היסוד" (שתמכה בלבון), בו כתב כי אין הוא רואה עוד משמעות להחלטה על הדחת לבון. בן־גוריון תקף את ביטול ההדחה בנאומים ובעיתונות, תוך שימוש בביטויים חריפים שעוררו כלפיו ביקורת ציבורית קשה, וכך, בזמן שאשכול זכה לאהדה ציבורית, עיסוקו של בן־גוריון ב"פרשה" נראה בעיני הציבור כנקמנות. באוגוסט תקף בן־גוריון גם את החלטת מפא"י לוותר על סעיף שינוי שיטת הבחירות במצעה, בהתאם לדרישת אחדות העבודה.