ביולי 1962 נפל דיפנבייקר, שבר את קרסולו ורותק לבית חולים. בינתיים היחסים הטובים של ממשלת דיפנבייקר עם ממשלת בריטניה הלכו ונמוגו. הכבוד הראשוני של ראש הממשלה מקמילן התקרר כאשר דיפנבייקר נקט עמדה חזקה ונחרצת באופן בלתי צפוי בנושא החברות של דרום אפריקה בחבר העמים הבריטי, ונעלם למעשה מפעילות בציבור כשקנדה מתחה ביקורת על הבקשה הבריטית לכניסה לקהילה הכלכלית האירופית, או לשוק המשותף. דיפנבייקר והנציב העליון שלו, אלכסנדר דרו, ראו בבקשה הבריטית בגידה ברגשות ובאינטרסים הכלכליים של קנדה ופעלו כדי לערער את הצלחתה בהיעדר ערבויות מסחריות מוצקות לחברי חבר העמים. דיפנבייקר הגיש תלונות תכופות על חוסר ההתייעצות של בריטניה עם שותפותיה למדינות חבר העמים בנושא ולקח סיפוק פרטי מרמזים לחוסר אמינות של צרפת בעניין (על הבקשה הבריטית הוטל וטו על ידי הנשיא הצרפתי דה גול בינואר 1963). דעת הקהל הקנדית בעניין הייתה חלוקה, אך המוניטין של ממשלת קנדה התערער על ידי הערות בעיתונות לפיהן היה דיפנבייקר מתנשא וחסם את הגעת תגובתה של בריטניה בעניין לידיעת הציבור הקנדי הרחב.
המשא ומתן עם ארצות הברית התמוסס במהירות, וושינגטון העלתה את הלחץ ביחסי המדינות בכך שהאשימה את ממשלת דיפנבייקר בשקר ובהזנחת התחייבויותיה הצבאיות לנוכח משבר הטילים בקובה. האופוזיציה התאחדה כדי לגנות את החלטיותו של דיפנבייקר וב-5 בפברואר 1963 הובסה ממשלתו בבית הנבחרים והתפזרה לקראת בחירות נוספות. המשבר המחריף היווה שעת כושר ליריבו מן המפלגה הליברלית, אשר תמך בחיזוק הקשרים עם ארצות הברית ובהידוק חוזה ההגנה, תוך אימוץ מדיניות הגרעין האמריקאית, לערער את יסודות הקואליציה השבירה של דיפנבייקר. זאת ועוד, גם בתוך מפלגתו של דיפנבייקר עצמה נבעו סדקים וב-4 בפברואר 1963 התפטר שר ההגנה שלו, דאגלס הארקנס, שתמך בגירעון. יומיים לאחר מכן התמוטטה הקואליציה.
דיפנבייקר נכנס למערכת הבחירות בשנת 1963 עם קבינט מתפורר. חמישה שרים ראשיים ועוד שרים אחרים נוספים התפטרו או פרשו. העיתונים התומכים של דיפנבייקר, 'הטלגרם של טורונטו', 'הגלוב ודואר', וכל העיתונים מלבד ארבעה אחרים ברחבי הארץ, נטשו את תמיכתם בקמפיין השמרני. ארגון המפלגה התמוטט - אף על פי שמנהלי הקמפיין העיקריים שמרו על נאמנותם למנהיג המפלגה. יומיים בלבד לאחר תחילת קמפיין הבחירות הכריז דיפנבייקר כי יפעל לריכוך מדיניותו כלפי ארצות הברית כהבטחת בחירות שנועדה להשיג תמיכה עממית נרחבת יותר. דיפנבייקר יצא למסלול הקמפיין שנלחם ב"ממשלה האמריקאית ומאתגריו הליברלים". כשחצה את המדינה במסע נאומים, כשברך את המצביעים בתחנות רכבת קטנות בקור העז, הוא קיבל השראה ממסע הבחירות של הנשיא האמריקאי הארי טרומן בבחירות לנשיאות ארצות הברית 1948. הציבור הכפרי, הערבה והעיירה הקטנה שלו הגיב בהתלהבות כשהוא לעג למפלגה הליברלית ולמשרד החוץ האמריקני. לאורך כל הקמפיין התמיכה השמרנית נותרה יציבה ואילו זו של הליברלים פחתה עד שב-8 באפריל (יום הבחירות), דיפנבייקר הותיר את המנהיג הליברלי פירסון בחמישה מושבים פחות מרוב מוחלט. דיפנבייקר עם זאת הפסיד בבחירות עם 95 מושבים בלבד והתפטר מתפקידו בעוד פירסון נכנס למשרדו של ראש הממשלה דרך הקמת ממשלת קואליציה ב-22 באפריל. עם הפסדו בבחירות ומינויו של פירסון לראש הממשלה החדש מטעם המפלגה הליברלית, דיפנבייקר הפך לראש האופוזיציה.
ראש האופוזיציה.
ישראל, דגל קנדה ופוליטיקה.
בסוף 1963 ערך דיפנבייקר ביקור של למעלה משבוע בישראל ובו התקבל אצל ראשי המדינה, אף על פי שלא היה עוד ראש ממשלה. הוא ערך ביקורים רבים ברחבי המדינה והתקבל בכבוד ובחיבה. בין לבין היה אורח כבוד של נשיא מדינת ישראל, זלמן שזר. בסופו של מסעו יצא בהצהרה כי לפי הבנתו השתפרו יחסי ישראל - ארצות ערב.
במשך שלוש שנים וחצי המשיך דיפנבייקר כמנהיג האופוזיציה במאבק ממושך מצד גורמים במפלגתו שלו, אך נותר אגרסיבי ומאיים כלפי יריביו הליברלים בבית הנבחרים. הוא השליך שערוריות מביכות עבור הממשלה בזו אחר זו - כולן היו מעורבות בפעילות חברי המפלגה מקוויבק. רוב המקורבים בתקופת הממשל שלו, בהם יועציו, התלויים בו בשל הצלחתם בפוליטיקה, נותרו נאמנים. דיפנבייקר הוביל מדיניות לפיה קנדה היא חלק בלתי נפרד מהכתר הבריטי. הוא התנגד לחבירתה של בריטניה לשוק האירופאי המשותף וטען שבכך היא מחזקת את ההקשר היבשתי, מנתקת את הקשר עם קנדה ומותירה לה כבעלת ברית יחידה את ארצות הברית, שממדיניותה התוקפנית סלד. הוא גם התנגד למהלך הראשון שהובילה הממשלה הליברלית החדשה, אימוץ דגל "עלה האֶדֶר", וטען בתוקף שעל קנדה להמשיך ולדבוק בנס קנדה האדום. דיפנבייקר הוביל דיון ציבורי טעון ויצרי שנקרא דיון הדגל הגדול, אך הוא הפסיד במאבקו זה ובראשית 1965 נקבע דגל עלה האדר כדגלה הרשמי של קנדה.
פירסון, שהוטרד והוסחה דעתו מהתקפותיו הבלתי פוסקות של דיפנבייקר בבית הנבחרים, קרא לבחירות ב-8 בנובמבר 1965, בתקווה להעניק מכה אנושה לאופוזיציה השמרנית שלו. יריבים שמרנים ישנים בהנהגת המפלגה חזרו לשיח הציבורי ולפעילות הפוליטית בתקווה לחיים פוליטיים אחרי דיפנבייקר, בעוד מנהיג המפלגה עצמו חלם לחזור לשלטון. בגיל 70 ניהל קמפיין לאומי נמרץ נוסף. פירסון לא הצליח למצוא שום נושא ברור להדגיש עליו את היציאה לבחירות נוספות מוקדם מהתאריך הנקבע במקור, מעבר לקריאתו לממשלת רוב ליברלית יציבה ולהשמדת יריבו הפוליטי ארוך השנים, אך נראה לאורכן של הבחירות כי המאבק בין פירסון ודיפנבייקר לא תסס. שוב השמרנים של דיפנבייקר שללו מהנהגת המפלגה הליברלית את הרוב שלו היא ייחלה. השמרנים, עם 97 מושבים, החזיקו בשני מושבים יותר מבעבר, וכך גם הליברלים עם 131 מושבים (שלושה מושבים פחות מהשגת רוב). המפלגה הדמוקרטית החדשה, שמנתה 21 מושבים לאחר הבחירות, זכתה בארבעה מושבים חדשים, ואילו מפלגות הנוצרים והנושים החברתיים (אשר התפצלו) ספגו הפסדים.
ירידה מהנהגת המפלגה.
בשלב זה הסכסוך הפוליטי בין דיפנבייקר לפירסון הפך לאגרסיבי יותר משהיה קודם לכן. 1966 החלה עם ההתקפות המחודשות של דיפנבייקר על אחדותה הרופפת של הממשלה הליברלית, מה שגרם לתביעות נגד ממשלו שלו על כך שלא פעל בעניין ביטחוני. חקירה שיפוטית שנערכה על ידי השופט ווישארט פלט ספנס, שמונתה לבחון את מה שנודע כפרשת מונזינגר, הייתה למעשה חקירה לאחר מעשה של שיקול הדעת המדיני שהפעילה ממשלת דיפנבייקר. דיפנבייקר, פולטון ועורכי דינם נסוגו במחאה מהחקירה באמצע הדיונים. בדו"ח הסופי לא נמצאה שום פגיעה בביטחון הלאומי, אך דיפנבייקר נתקף על כך שלא הצליח לפטר את המשנה לשר ההגנה המשנה שלו, פייר סביני, כשנודע לו על הקשר מחוץ לנישואין של סביני עם גרדה מונסינגר, שככל הנראה התגלתה מאוחר יותר כפעילה סובייטית בדרג נמוך. הקרב השני של דיפנקבייקר ב-1966 סבב בתוך מפלגתו, שם נאבק להסדיר את סמכותו במשרדי המפלגה ובאחדות הלאומית ולשמר את ההנהגה שלו. התפרצויות חוסר שביעות הרצון התרבו, אך בהיעדר מערכת רשמית של פריימריז פנים-מפלגתיים, דיפנבייקר ראה כמובן מאליו כי כהונתו אינה מוגבלת. לאחר שהשתכנע שהמנהיג לא ייקח פרישה מרצון, הציע נשיא המפלגה, קמפ דלתון, רפורמה בחוקת המפלגה כדי לדרוש הצבעה אוטומטית בשאלה האם לערוך כינוס מנהיגות בעקבות ההפסד בבחירות הכלליות. דיפנבייקר עמד באתגר של קמפ בכך שהאשים אותו בדקירת גב, אך הוא הסכים על כינוס מנהיגות שיתקיים ב-1967.
במהלך תכנון הוועידה סירב דיפנבייקר לאשר את מועמדותו להנהגת המפלגה. לבסוף, הוא עמד לבחירה מחודשת באופוזיציה לקראת החלטת ועידה העולה מוועידת המדיניות של המפלגה, שדיברה על טיפוח מדיניות לאומית המבוססת על גבי "שני העמים המייסדים" של קנדה או על "מדינות הדוקס". (טיוטת ההחלטה תיארה למעשה מדינה "המורכבת מתושביה המקוריים של הארץ הזו ושני העמים המייסדים [מדינות דוקס; שהיוו למעשה את בריטניה וצרפת] בעלי זכויות היסטוריות, שבנוסף להם הצטרפו אנשים ממדינות רבות וממשיכים להצטרף אליהם") "הצעה זו", דיפנבייקר אמר לעיתונאים, חזונו של דיפנבייקר "קנדה אחת" פירושו שוויון לאנשים פרטיים ומקומיים באשר הם, אך הוא לא יכול היה לקבל את הרעיון של "עמים מייסדים" או "אומות" אשר כללו קהילות מסוימות תוך אי הכללה של אחרות. הפנייה המוכרת שלו לשוויון - תמיד בהסתמך על ניסיונו האישי - הייתה מיועדת לאופוזיציה חריפה בתקופה שהמדינה הפכה למורכבת מיותר מהגרים שונים. בהצבעה הראשונה להנהגת המפלגה הוא הפסיד ונקבע במקום החמישי.
תום הקריירה הפוליטית וסוף חייו.
במשך 12 שנים נוספות וארבע בחירות כלליות נוספות, 1968, 1972, 1974 ו-1979, נשאר דיפנבייקר חבר בבית הנבחרים. במשך כמה שנים ההשפעה והסמכות הבולטים שלו על הספסלים האחוריים השמרניים הקשה על הסדר הסמכות ההנהגתית עבור כל מנהיג חדש של המפלגה ובמשך שארית חייו המשיך דיפנבייקר להצליח בריתוק תשומת הלב של הבית ולהביך את השרים בשאלותיו החריפות והסרקסטיות וביכולתו הרטורית. בשנת 1968 הציע להעביר את שגרירות קנדה בישראל מתל אביב לירושלים לאחר מלחמת ששת הימים. ביום השנה ה-30 שלו כחבר הפרלמנט, בשנת 1970, הוא התבדח שהוא יחיה כשנות חייו של משה רבנו. שש שנים אחר כך הוא מונה לחבר מסדר עמיתי הכבוד במעמד הצטיינות ועם השנה החדשה הוא נסע בגאווה לבריטניה איפה שהמלכה העניקה לו את העיטור בטירת וינדזור. באמצע שנות השבעים פרסם שלושה כרכים של זיכרונות שנכתבו ברוחות רפאים. הוא ניהל את מערכת הבחירות האחרונה שלו בבריאות לקויה באביב 1979.