באוקטובר 1864 נערכה ועידה נוספת בקוויבק סיטי, שם התקבלה הסכמה על מסמך של 72 עקרונות שיהוו את הבסיס לממשלת קנדה. לקואליציה הגדולה נשקפה פתאום סכנה עקב מותו של טאש ב-1865. הלורד מונק ביקש ממקדונלד לכהן כראש ממשלת הפרובינציה, אך בראון חש שהוא ראוי לתפקיד במידה שווה כשותף לקואליציה. חילוקי הדעות נפתרו כאשר מונה מועמד של פשרה כדי שיכהן כראש ממשלה מתלמד, נרסיס-פורטונה בלו.
ב-1865, לאחר דיונים מתמשכים, אישרה אספת המחוקקים של פרובינציית קנדה את האיחוד ברוב של 91 תומכים מול 33 מתנגדים. מנגד, אף אחת מהמושבות הימיות טרם אישרה את האיחוד. ב-1866 העניקו מקדונלד ועמיתיו סיוע כספי למועמדים תומכי האיחוד בבחירות הכלליות שנערכו בניו ברנזוויק, וכתוצאה מכך הפכה המועצה המחוקקת של המושבה לתומכת האיחוד. זמן קצר לאחר הבחירות, קידם ראש ממשלת נובה סקוטיה, צ'ארלס טאפר, החלטה התומכת באיחוד במועצה המחוקקת של מושבתו. ועידה מסכמת, שהתקיימה בלונדון, הייתה נחוצה לפני שהפרלמנט הבריטי יוכל להפוך את האיחוד לרשמי. הנציגים מהמושבות הימיות יצאו ללונדון ביולי 1866, אך מקדונלד, ששוב שקע בשתייה, הגיע רק בנובמבר, והכעיס את עמיתיו מהמושבות הימיות. בדצמבר הוביל מקדונלד את וועידת לונדון וזכה לתשואות עבור האופן בו ניהל את הדיונים ובאותה עת הוא חידש את הקשר עם מי שהייתה בהמשך לאשתו השנייה, אגנס ברנרד. ברנרד הייתה אחותו של מזכירו האישי של מקדונלד, יואיט ברנרד. הזוג הכיר ב-1860 בקוויבק, אך נראה שמקדונלד העריץ אותה עוד ב-1856. בינואר 1867, כשהוא עדיין בלונדון, הוא נכווה קשות בחדרו שבמלון כאשר נר נפל על כיסא והצית אותו והכיסא נפל על מקדונלד בעודו ישן. הוא סירב להחמיץ את דיוני הוועידה. בפברואר נישאו אגנס וג'ון מקדונלד בכנסיית סנט ג'ורג' שבכיכר הנובר שבלונדון. ב-8 במרץ אישר בית הנבחרים הבריטי את "חוק צפון אמריקה הבריטית", שיהווה את הבסיס לחוקת קנדה וב-29 במרץ העניקה המלכה ויקטוריה את ההסכמה המלכותית.
מקדונלד העדיף שהאיחוד יכנס לתוקף ב-15 ביולי מתוך חשש שההכנות לא יושלמו קודם לכן. הבריטים העדיפו תאריך מוקדם יותר, ה-22 במאי, אך בסופו של דבר הוכרז שאיחוד קנדה ייכנס לתוקף ב-1 ביולי 1867. לורד מונק מינה את מקדונלד כראש הממשלה הראשון של האומה החדשה. עם יצירתו של הדומיניון החדש, הפכו מזרח קנדה ומערב קנדה לשתי פרובינציות נפרדות שנודעו כאונטריו וקוויבק. ביום קנדה הראשון, 1 ביולי 1867 הוענק למקדונלד התואר אביר מפקד של מסדר האמבט.
ראש ממשלת קנדה.
בין השנים 1867 – 1896 היה שיעור צמיחתה של כלכלת קנדה כ-1% לשנה. הארץ הייתה במצב של קיפאון כך שאנשים רבים היגרו לארצות הברית, שם הצמיחה הייתה הרבה יותר מהירה. הפתרון של מקדונלד היה לסלול מסילת ברזל שתחצה את היבשת כדי לזרז את הצמיחה וליישם "מדיניות לאומית" של העלאת מכסים שתגן על החברות הקנדיות הקטנות מפני תחרות אמריקאית.
הממשלה הראשונה (1871-1867).
מקדונלד וממשלתו התמודדו עם בעיות מיד עם הקמתה של המדינה החדשה. נותרה עבודה רבה ביצירת הממשל הפדרלי החדש. נובה סקוטיה כבר החלה לאיים בנטישת האיחוד. הרכבת האינטרקולוניאלית, שהייתה אמורה לפייס את הפרובינציות הימיות ולקשר אותן באופן הדוק יותר לשאר שטחי קנדה, טרם החלה להיבנות. יחסי ארצות הברית-בריטניה היו בשפל ויחסי החוץ של קנדה נוהלו על ידי הממשלה בלונדון. פרישתם של האמריקאים ב-1866 מההסכם ההדדי העלתה את תעריפי הסחורות הקנדיות בשוקי ארצות הברית. רוב שטחה של קנדה המודרנית נותר מחוץ לתחומי האיחוד: בנוסף למושבות הנפרדות של אי הנסיך אדוארד, ניופאונדלנד וקולומביה הבריטית, שנותרו תחת ממשל בריטי ישיר, רוב השטחים מצפון וממערב היו בבעלותה של חברת מפרץ הדסון הבריטית. בארצות הברית ובבריטניה לא היה ברור אם ניסיון האיחוד ינחל הצלחה והדעות שם היו שהאומה המתהווה תבלע על ידי ארצות הברית.
באוגוסט 1867 נערכו הבחירות הכלליות הראשונות בקנדה. מפלגתו של מקדונלד ניצחה בהן בקלות, עם תמיכה חזקה בשתי הפרובינציות הגדולות וכן ברוב בניו ברנזוויק. הפרלמנט של קנדה התכנס בנובמבר, למרבית ההפתעה ללא בראון, שהובס באונטריו ומעולם לא כיהן כחבר בית הנבחרים של קנדה. ב-1869 הסכימה נובה סקוטיה להישאר כחלק מקנדה לאחר שהובטחו לה תנאים פיננסיים טובים יותר, הראשונה מבין פרובינציות רבות שתישא ותיתן על תנאים עם אוטווה. לחצים מלונדון ומאוטווה כשלו בהשגת הצטרפותה של ניופאונדלנד, שמצביעיה דחו את רעיון האיחוד בבחירות הכלליות שנערכו בה באוקטובר 1869.
באותה שנה נולדה לג'ון ואגנס מקדונלד בת בשם מרי. עד מהרה התברר שהילדה סובלת מבעיות התפתחותיות. היא מעולם לא הצליחה להתהלך והתפתחותה השכלית מעולם לא הייתה מושלמת. יואיט ברנרד, ששימש כסגן שר המשפטים וקודם לכן כמזכירו של מקדונלד, התגורר יחד עם משפחת מקדונלד בביתם שבאוטווה, יחד עם אמו האלמנה. במאי 1870 נפל מקדונלד למשכב עקב אבנים בכיס המרה. בנוסף לבעיות השתייה התכופות שלו, הוא לקה ככל הנראה בדלקת לבלב חריפה. ביולי הוא נסע לאי הנסיך אדוארד לצורך החלמה, וככל הנראה קיים שם דיונים שמטרתם הייתה צירוף האי לאיחוד בה בעת כשעלו שם כמה רעיונות להצטרפות לארצות הברית. בסופו של דבר הצטרף האי לאיחוד הקנדי ב-1873.
בעבר היה יחסו של מקדונלד פושר בנוגע לשאלת התפשטותה מערבה של קנדה. כראש הממשלה הוא הפך לתומך נלהב של קנדה המשתרעת מחוף אל חוף. מיד עם כניסת האיחוד לתוקף הוא שלח שליחים ללונדון שהצליחו להשיג את העברתם של שטחי ארץ הנסיך רופרט והטריטוריה הצפון-מערבית לריבונות קנדית. חברת מפרץ הדסון קיבלה סכום של 1,500,00 דולר ונותרו בידיה זכויות סחר מסוימות בנוסף לבעלות על 5% מהשטחים הראויים לעיבוד. קודם לתאריך העברת השטחים הללו התמודדה ממשלת קנדה עם אי-שקט במושבת הנהר האדום (כיום חלקה הדרום-מזרחי של מניטובה בסביבות העיר ויניפג). המקומיים, כולל המסטיסים, חששו שהשלטון הקנדי ייכפה עליהם והדבר לא עלה בקנה אחד עם האינטרסים שלהם וכתוצאה מכך התעורר מרד הנהר האדום בהנהגתו של לואי ריאל. מתוך אי-רצון לשלם עבור טריטוריה שנמצאת במצב של התקוממות, שיגר מקדונלד כוחות כדי לדכא את המרד לפני מועד ההעברה הרשמי, ה-15 ביולי 1870, אך כתוצאה מאי-השקט הצטרפה מושבת הנהר האדום לאיחוד לצד פרובינציית מניטובה, בעוד ששארית השטח שנרכש היה לטריטוריות הצפון-מערביות. בעקבות המרד הצפון-מערבי של שנת 1885 יישם מקדונלד הגבלות על תנועתם של הילידים והם נדרשו לקבל אישור רשמי מפקיד של "המשרד לענייני אינדיאנים" כדי לצאת מתחומי השמורה שלהם.
מקדונלד גם שאף להבטיח את הצטרפותה של מושבת קולומביה הבריטית. לארצות הברית היה אינטרס לספח את המושבה לשטחה ומקדונלד היה מעוניין שלארצו תהיה גישה לחופי האוקיינוס השקט. המועצה צברה חוב כספי הולך וגדל וההנחה הייתה שזה יגרום לה להצטרף לאיחוד. הדיונים התנהלו במהלך 1870, בעיקר במהלך מחלתו והחלמתו של מקדונלד, כשבראש המשלחת הקנדית עמד קרטייה. קרטייה הציע לקולומביה הבריטית מסילת ברזל שתקשר אותה לפרובינציות המזרחיות ושתיסלל תוך עשר שנים. נציגי המושבה, שהיו מוכנים גם לקבל פחות מכך, הסכימו עד מהרה וקולומביה הבריטית הצטרפה לקנדה ב-1871. הפרלמנט של קנדה אשרר את תנאי ההצטרפות לאחר ויכוח על העלות הגבוהה שחבר הקבינט, אלכסנדר מוריס, תיאר אותו כמאבק הגרוע שהשמרנים ניהלו מאז האיחוד.
היו עימותים ממושכים עם האמריקאים בנוגע לזכויות הדיג במים עמוקים ובראשית 1871 מונתה ועדה אנגלו-אמריקאית ליישב את העניינים החריגים בין הבריטים (והקנדים) לבין ארצות הברית. קנדה קיוותה להבטיח את תשלום הנזק שנגרם על ידי פלישות הפניאנים שיצאו מבסיסים בארצות הברית. מקדונלד הבין שהאינטרסים הקנדיים יוקרבו לטובתה של ארץ האם, חשש שהתברר כנכון. קנדה לא קיבלה שום פיצויים על הפלישות ולא זכתה בשום יתרונות מסחריים במסגרת ההבנות. היא נדרשה לפתוח את מימיה לדייגים אמריקאים. מקדונלד שב לקנדה כדי להגן על הסכם וושינגטון כנגד ההתנגדויות מבית.
הממשלה השנייה (1873-1872) והשערורייה הפסיפית.
במהלך מערכת הבחירות של 1872 שקד מקדונלד על ניסוח מדינות סלילת מסילת הברזל, או לתכנן את הערבויות להלוואות שהיו דרושות למיזם הבנייה. במהלך השנה שלאחר מכן נפגש מקדונלד עם משקיעים פוטנציאלים ברכבת כמו יו אלן והתקיימו שיחות מעמיקות בתחום הפיננסי. על כל פנים, הבעיה הפוליטית החמורה ביותר שבפניה ניצב מקדונלד הייתה הסכם וושינגטון, שעדיין לא התקיים עליו דיון בפרלמנט.
בראשית השנה הניח מקדונלד את ההסכם לאשרור על שולחן בית הנבחרים והוא עבר ברוב של 66 קולות. בסוף אוגוסט ובתחילת ספטמבר נערכו הבחירות הכלליות (בעתיד יתקיימו הבחירות הכלליות בקנדה ביום אחד). חלוקה מחדש של מחוזות הבחירה העניקה לאונטריו ייצוג רחב יותר בבית הנבחרים. מקדונלד בילה זמן רב במערכת הבחירות שנערכה בפרובינציה, בעיקר מחוץ לקינגסטון. מעשי שוחד ששולם לבוחרים אירעו בכל רחבי קנדה, נוהג שפשה במיוחד בתקופה בה ההצבעות הוכרזו בפומבי. בעתיד יערכו הבחירות בהצבעה חשאית. מקדונלד והשמרנים ראו כיצד הרוב שלהם יורד מ-35 ל-8 מושבים. הליברלים הצליחו יותר מהשמרנים באונטריו ואילצו את הממשלה להישען על קולות הפרובינציות המערביות והימיות שלא העניקו את מלוא תמיכתן למפלגה.