מקדונלד קיווה למסור את הזיכיון לבניין קו הרכבת הקנדית הפסיפית בראשית 1872, אך המשא ומתן נגרר בין הממשלה לבין המשקיעים. בסופו של דבר העניקה ממשלת מקדונלד את הזיכיון לקבוצת אלן. ב-1873, עם פתיחת הפרלמנט, טען חבר הפרלמנט הליברלי, לוציוס סת' הנטינגטון, ששרי הממשלה קיבלו שוחד כבד ומימון למטרות פוליטיות בתמורה למתן הזיכיון. עד מהרה נחשפו מסמכים שנתנו תימוכין למה שנקרא "השערורייה הפסיפית" . המשקיעים בהובלתו של אלן, שבחשאי קיבלו גיבוי מ"חברת הרכבת הצפון פסיפית" האמריקאית, תרמו סכום של 179,000 דולר לקרנות הבחירות של השמרנים בקנדה ובתמורה קיבלו את הזיכיון. עיתוני האופוזיציה החלו לפרסם מברקים שנחתמו על ידי שרי ממשלה שביקשו סכומי כסף גדולים מהמשקיעים בתקופה בה התנהל הדיון על הזיכיון. מקדונלד עצמו קיבל סכום של 45,000 דולר בתרומות מהמשקיעים. לקרטייה שולמו סכומים ניכרים, ששימשו אותו למימון המאבק הקשה שלו לנסות ולשמור על מושבו במונטריאול מזרח (הוא הובס, אך בסופו של דבר שב לפרלמנט כשנבחר במחוז הבחירה פרוונצ'ר שבמניטובה). במהלך מערכת הבחירות נפל קרטייה למשכב עקב מחלת כליות, שעשויה הייתה להיות הסיבה לשיקול הדעת המוטעה שלו. קרטיה נפטר במאי 1873 בעודו ממתין לקבלת טיפול בלונדון.
עוד קודם מותו של קרטייה עשה מקדונלד מאמצים לחילוץ הממשלה מן הצרה. האופוזיציה הגיבה בהדלפת מסמכים לעיתונים שרחשו לה אהדה. ב-18 ביולי פרסמו שלושה עיתונים מברק מאוגוסט 1872 בו ביקש מקדונלד סכום נוסף של 10,000 דולר ובו הוא הבטיח "זהו הסכום האחרון אותו אבקש". הוא היה יכול להשיג דחייה של סיום מושב הפרלמנט באוגוסט באמצעות מינוי ועדה מלכותית שתבדוק את העניין, אך הפרלמנט התכנס מחדש בסוף אוקטובר. הליברלים, שחשו שיעלה בידם להביס את מקדונלד על רקע הפרשה, הפעילו לחץ כבד על חברי פרלמנט שהתלבטו כיצד להצביע.
ב-3 בנובמבר הגן מקדונלד על הממשלה בפרלמנט ועל פי הביוגרף שלו פ.ב ואייט, הוא נשא "את הנאום של חייו, ובמובן מסוים, את הנאום להצלת חייו". הוא החל בנאום בשעה 9 בערב, כשהוא נראה חלוש וחולה, הופעה שעד מהרה השתפרה. בעודו מדבר הוא לגם כוס אחר כוס של מים ושל ג'ין. הוא הכחיש את קיומן של עסקאות שוחד והצהיר שתרומות כאלה היו מקובלות בשתי המפלגות הפוליטיות. לאחר חמש שעות סיכם מקדונלד את נאומו:
נאומו של מקדונלד נראה כניצחון אישי, אך עשה מעט כדי לחלץ את ממשלתו מגורלה. עם שחיקה בתמיכה, הן בבית הנבחרים והן בקרב הציבור, הגיע מקדונלד ב-5 בנובמבר למושל הכללי, הלורד דפרין והגיש את התפטרותו. מנהיג הליברלים, אלכסנדר מקנזי, היה לראש הממשלה השני של קנדה. בעקבות התפטרותו שב מקדונלד עם רעייתו אגנס לביתו ואמר, "ובכן, זה מסתדר", וכאשר הוא נשאל על ידיה למה התכוון, הוא השיב לה על התפטרותו ואמר, "זוהי הקלה להיות מחוץ לכל זה". לאחר מכן הוא לא דיבר שוב מעולם בציבור על אירועי השערורייה הפסיפית. כאשר הכריז מקדונלד בבית הנבחרים על התפטרותו, חברי הפרלמנט מהמפלגה השמרנית ומהמפלגה הליברלית התחלפו במקומותיהם, אף על פי שאחד השמרנים, חבר הפרלמנט מקולומביה הבריטית, אמור דה קוסמוס, נותר במקומו, שכן הוא הצטרף לליברלים.
ב-6 בנובמבר 1873 הציע מקדונלד לאספת חברי המפלגה השמרנית את התפטרותו כמנהיג המפלגה וההצעה נדחתה. מקנזי קרא לעריכת בחירות בינואר 1874. מספר חברי השמרנים בבית הנבחרים פחת ל-70 מתוך 206 המושבים בכל הבית, ובמקנזי תמך רוב מסיבי. רק בקולומביה הבריטית עלו השמרנים על הליברלים במספר הנציגים. מקנזי תיאר את התנאים שלפיהם הצטרפה הפרובינציה לאיחוד כ"בלתי אפשריים". מקדונלד שב לקינגסטון, אך המשיך להתמודד בבחירות כאשר הוכחו מעשי השוחד. בבחירות הביניים הבאות הוא זכה במושבו בפרלמנט על חודן של 17 קולות. על פי סוויינסון, רוב המשקיפים ראו במקדונלד כמחוסל מבחינה פוליטית, "אדם מבוזה שאבד עליו הקלח".
באופוזיציה (1878-1873).
מקדונלד היה שבע רצון להנהיג את השמרנים באופן רגוע באופוזיציה ולהמתין לשגיאותיהם של הליברלים. הוא יצא לחופשות ארוכות, חידש את עיסוקו כעורך דין, עבר עם משפחתו לטורונטו ונכנס לשותפות עם בנו, יו ג'ון. אחת מהשגיאות שהליברלים ביצעו לדעתו היה הסכם הסחר החופשי עם וושינגטון, שהדיונים עליו התקיימו ב-1874. מקדונלד האמין שמדיניות הפרוטקציוניזם חיונית לבניית התעשייה הקנדית. המשבר הפיננסי של 1873 גרם לשפל כלכלי עולמי. הליברלים הבינו שיהיה קשה לממן את מסילת הברזל באקלים כלכלי כזה ובאופן כללי הם התנגדו לסלילת הקו. הקצב האיטי בו התקדם המיזם הוביל את קולומביה הבריטית לטעון שהסכם ההצטרפות הופר.
ב-1876 אימצו מקדונלד וחברי המפלגה השמרנית את הפרוטקציוניזם כמדיניות רשמית. גישה זו קודמה בנאומים במספר פיקניקים פוליטיים שנערכו ברחבי אונטריו במהלך הקיץ של אותה שנה. הצעותיו של מקדונלד הכו את הציבור בתדהמה והשמרנים החלו לנצח בשורה של מערכות בחירות ביניים. עד סוף השנה גרפו השמרנים 14 מושבים כתוצאה ממערכות בחירות אלו, ובסך הכל הפחיתו את הרוב הליברלי של מקנזי מ-70 בתחילת הקדנציה ל-42. על אף הצלחה זו, שקל מקדונלד פרישה, וקיווה רק להפוך את פסק הדין של ציבור הבוחרים מ-1874 וראה בצ'ארלס טאפר כיורשו בכוח.
כאשר התכנס הפרלמנט ב-1877 היו השמרנים חדורי ביטחון והליברלים נכנסו למגננה. לאחר שהשמרנים ניהלו מושב מוצלח בחלקה הראשון של השנה, נערכה סדרה נוספת של פיקניקים באזור סביב לטורונטו. מקדונלד אף הוביל מערכה בקוויבק, דבר שעשה רק לעיתים רחוקות, אך הותיר את מלאכת הנאומים לקרטייה. ב-1878 נערכו פיקניקים נוספים על רקע קידום ההצעות שנקראו באופן קולקטיבי "המדיניות הלאומית" (The National Policy): העלאת מכסים, בנייה מהירה של מסילת הברזל הטרנס-יבשתית, פיתוח חקלאי מהיר של המערב תוך שימוש ברכבת וצעדי מדיניות שנועדו למשוך תנועת הגירה לקנדה. פיקניקים אלו היו ההזדמנות של מקדונלד להראות את כישוריו בניהול קמפיינים ולעיתים קרובות הם היו משעשעים. באחד מהם האשים מנהיג השמרנים את הליברלים בקיומם של המזיקים לחקלאות והבטיח שהחרקים ייעלמו ברגע שהשמרנים ייבחרו מחדש לממשלה.
ימיו האחרונים של הפרלמנט השלישי של קנדה עמדו בסימן של סכסוך נפיץ, שכן מקדולנד וטאפר האשימו את חבר הפרלמנט והמשקיע ברכבת, דונלד סמית', שהוא הורשה לבנות את הסניף של העיירה פמבינה שבדקוטה הצפונית ושקישר את מיזם הרכבות לרשת הקווים האמריקאית, כגמול לבגידתו בשמרנים במהלך השערורייה הפסיפית. ההתנצחות נמשכה גם כאשר חברי בית הנבחרים זומנו לאולם הסנאט כדי לשמוע את נאום הפיזור של הפרלמנט, אז נשא מקדונלד את המילים האחרונות שתועדו בפרלמנט זה: "ברנש זה סמית' הוא השקרן הגדול ביותר שראיתי מימי!".
הבחירות הכלליות נקבעו ל-17 בספטמבר 1878. מתוך חשש שמקדונלד יובס בקינגסטון, ניסו תומכיו לשכנע אותו להתמודד במחוז בחירה שמרני בטו בקרדוול שבאונטריו. לאחר שייצג את עיר מגוריו במשך 35, הוא התמודד שם שוב. בבחירות הובס מקדונלד על ידי אלכסנדר גן, אך השמרנים נחלו ניצחון גורף. מקדונלד נשאר בבית הנבחרים לאחר שעד מהרה הבטיח את בחירתו במחוז הבחירה של מרקט שבמניטובה. הבחירות נערכו שם מאוחר יותר מאשר באונטריו. לאחר מכן הוא התמודד מטעם מחוז ויקטוריה שבקולומביה הבריטית וניצח גם שם, אף על פי שהוא מעולם לא ביקר בשני מחוזות הבחירה הללו.
הממשלות השלישית והרביעית (1887-1878).
חלק מ"המדיניות הלאומית" יושם במסגרת התקציב שהוגש בפברואר 1879. במסגרת התקציב הפכה קנדה לאומה ששיעור המכסים שלה היה גבוה כמו ארצות הברית וגרמניה. מערכת המכסים תוכננה כך שתגן על בנייתה של התעשייה הקנדית, על מוצרי טקסטיל מוגמרים הוטל מכס של 34%, אך על יבוא המכונות לייצורם לא הוטל מכס. מקדונלד המשיך להיאבק למען הטלת מכסים גבוהים עד ליומו האחרון.
בשנות השמונים של המאה ה-19 נעשה מקדונלד חלש יותר מבחינה בריאותית, אך שמר על חדותו הפוליטית. ב-1883 הוא העביר את "חוק המשקאות המשכרים" שנטל את תפקיד הפיקוח על תחום זה מידי הפרובינציות, בין השאר כדי להכשיל את יריבו, ראש ממשלת אונטריו, אוליבר מווט. במקרה הפרטי שלו, עלה בידו של מקדונלד לשלוט טוב יותר בהרגלי השתייה שלו והתקופות בהן הרגל זה היה מופרז באו לקיצן. עם התקדמות הטיפול בתקציב, למד מקדונלד את נושא הרכבת ומצא שהתמונה ורודה יותר ממה שציפה. אף על פי שבתקופתו של מקנזי הוצא סכום כסף קטן יחסית על המיזם, נסללו כמה מאות מיילים של מסילה וכמעט כל הנתיב עבר את שלב המדידות. ב-1880 איתר מקדונלד סינדיקציה בהנהגתו של ג'ורג' סטפן שהייתה נכונה לקחת על עצמה את סלילת הקו. דונלד סמית' היה השותף העיקרי בסינדיקציה, אך בשל יחסיו הגרועים עם השמרנים, בתחילה שותפותו לא פורסמה בפומבי, אף על פי שהדבר היה ידוע למקדונלד. באותה שנה סופחו לקנדה שארית השטחים בטריטוריות הארקטיות, ושטחה של קנדה הגיע לממדיה הסופיים, להוציא את ניופאונדלנד, שהצטרפה לאיחוד רק ב-1949. באותה שנה שלחה קנדה גם את הנציגות הדיפלומטית הראשונה שלה מעבר לים, כאשר מונה סר אלכסנדר גאלט לתפקיד הנציב העליון הראשון של קנדה בבריטניה. עם מצב כלכלי טוב, מקדונלד והשמרנים הגדילו את הרוב שלהם בבית הנבחרים בבחירות של 1882. באותן בחירות שב מקדונלד להיבחר במחוז בחירה באונטריו, מחוז קרלטון.