אף על פי שבוועידת קוויבק ביצע טאפר ויתורים רבים, הוא סבר שיעלה בידו לשכנע את תושבי נובה סקוטיה שהעסקה תשתלם עבורם. לפיכך הוא היה מופתע כאשר העסקה שהושגה בקוויבק זכתה לביקורת רחבה במושבה. מנהיג האופוזיציה, אדמס ג'ורג' ארצ'יבלד, היה החבר היחיד של המפלגה הליברלית של נובה סקוטיה שתמך באיחוד. ראש הממשלה לשעבר, ג'וזף האו, ארגן כעת את "מפלגת האנטי-איחוד" והדעות נגד האיחוד היו כה חזקים עד שטאפר החליט לדחות את ההצבעה על שאלת האיחוד בשנה שלמה. כעת ארגן טאפר קבוצת תומכי איחוד ל"מפלגת האיחוד" כדי לקדם את הרעיון.
באפריל 1866 השיג טאפר תמיכה של המועצה המחוקקת של נובה סקוטיה באיחוד על ידי הבטחה שבוועידת לונדון הקרבה הוא ידון על מסמך 72 העקרונות.
וועידת לונדון.
ג'וזף האו החל להריץ מערכה בבריטניה לשנות את דעת הקהל שם כנגד האיחוד המוצע. לפיכך, כאשר הגיע טאפר לבריטניה, הוא החל מיד להריץ מערכה נגדית ושיגר עלונים ומכתבים לעורכי העיתונים שסתרו את טענותיו של האו.
אף על פי שטאפר ניסה לדון על מסמך 72 העקרונות כפי שהבטיח, לא עלה בידו להשיג שינויים משמעותיים. השינוי העיקרי היחיד שעליו הוסכם בוועידת לונדון לא היטיב עם נובה סקוטיה – האחריות על תחום הדיג, שעל פי הסכם אמור היה להיות באחריות פדרלית משותפת של הפרובינציות, הפך להיות בתחום אחריותו הבלעדית של הממשל הפדרלי.
סיום המגעים לקראת האיחוד.
בעקבות קבלת "חוק צפון אמריקה הבריטית" על ידי הפרלמנט הבריטי לאחר ועידת לונדון, שב טאפר לנובה סקוטיה כדי להתחיל בהכנות לביצוע האיחוד, שנכנס לתוקף ב-1 ביולי 1867 ושלושה ימים אחר כך הוא העביר את ראשות הממשלה להיירם בלנצ'רד.
כאות כבוד לחלק שלקח בתהליך האיחוד הוענק לטאפר ב-1867 התואר עמית מסדר האמבט.
חבר הפרלמנט של קנדה.
המאבק במתנגדי האיחוד.
הבחירות הראשונות לבית הנבחרים החדש נערכו בחודשים אוגוסט-ספטמבר 1867. טאפר התמודד מטעם מחוז הבחירה של קמברלנד וניצח. עם זאת, הוא היה המועמד היחיד מבין תומכי האיחוד מנובה סקוטיה שזכה במושב בפרלמנט, כשג'וזף האו ומתנגדי האיחוד זכו בכל שאר מחוזות הבחירה בפרובינציה.
כבעל ברית של מקדונלד ושל המפלגה הליברלית-שמרנית, היה מצופה שטאפר יקבל תפקיד בקבינט הראשון. עם זאת, כאשר נקלע מקדונלד לקשיים בהרכבת הקבינט, פינה טאפר את מקומו לטובת אדוארד קני. טאפר פתח מרפאה באוטווה ונברח כנשיא הראשון של ההתאחדות הרפואית הקנדית, תפקיד בו הוא כיהן עד ל-1870.
בבחירות שנערכו בנובמבר 1867 בפרובינציה של נובה סקוטיה הובס תומך האיחוד היירם בלנצ'רד על ידי מנהיג מתנגדי האיחוד, ויליאם אננד. על בסיס חוסר האהדה הציבורית בנובה סקוטיה כלפי רעיון האיחוד, נסע ג'וזף האו ב-1868 ללונדון כדי לנסות ולשכנע את ממשלת בריטניה (אז בראשותו של הלורד דרבי והחל מפברואר בראשותו של בנג'מין דיזראלי) לאפשר לנובה סקוטיה לפרוש מן האיחוד. טאפר נסע ללונדון בעקבותיו של האו והצליח לשדל פוליטיקאי בריטים להתנגד לאפשרות זו.
בעקבות הצלחתו בלונדון, הציע טאפר להאו הצעת פיוס. בתמורה להסכמתו של האו לחדול מהתנגדותו לאיחוד, יחברו השניים כבעלי ברית שיגנו על האינטרסים של נובה סקוטיה במסגרת האיחוד. האו הסכים להצעה ובינואר 1869 הוא התמנה כחבר בקבינט הפדרלי בתורך נשיא המועצה המלכותית הקנדית.
עם פרוץ מרד הנהר האדום ב-1869 נחרד טאפר לשמוע שבן זוגה של בתו אמה הוחזק כבן ערובה על ידי לואי ריאל והמורדים. הוא מיהר לאזור כדי לחלץ את חתנו.
נשיא המועצה המלכותית.
בשנה שלאחר מכן התדרדרה בריאותו של האו וטאפר נכנס במקומו כחבר הקבינט וביוני 1870 החליף אותו כנשיא המועצה המלכותית.
השנה שלאחר מכן עמדה בסימן הסכסוך עם ארצות הברית בנוגע לגישתה לשטחי הדיג באוקיינוס האטלנטי. טאפר היה סבור שעל בריטניה להגביל את גישתם של האמריקאים לשטחי הדיג כדי שעמדתה במשא ומתן תהיה מתוך מעמד של כוח. כאשר נסע מקדונלד כדי לייצג את האינטרסים הקנדיים בדיונים שהובילו להסכם וושינגטון שנחתם ב-1871, שימש טאפר כאיש הקשר שלו עם הקבינט.
השר להכנסות הפנים.
ב-19 בינואר 1872 סיים טאפר את שירותו כנשיא המועצה המלכותית ותחת זאת התמנה כשר להכנסות הפנים (Minister of Inland Revenue).
במהלך הבחירות הכלליות שהתקיימו באותה שנה הוביל טאפר את המערכה של המפלגה הליברלית-שמרנית בנובה סקוטיה. מאמציו נשאו פרי ואף אחד ממתנגדי האיחוד מהפרובינציה לא הצליח להיכנס לפרלמנט הפדרלי ו-20 מתוך 21 נציגי הפרובינציה היו מהמפלגה הליברלית-שמרנית. שנה לאחר מכן שינתה המפלגה את שמה ל"מפלגה השמרנית".
שר המכס.
בפברואר 1873 סיים טאפר את תפקידו כשר להכנסות פנים ותחת זאת מונה כשר המכס ובתפקידו זה הוא נחל הצלחה בהנהגת שיטת המדידות והמשקלות הבריטית כשיטה אחידה בכל המושבות באיחוד הקנדי.
בתפקיד זה לא החזיק טאפר לזמן רב, שכן באותה שנה נקלעה ממשלת מקדונלד למשבר קשה עקב "השערורייה הפסיפית" . בנובמבר נאלצה הממשלה להתפטר ובמקומה הוקמה ממשלה בראשותו של מנהיג המפלגה הליברלית, אלכסנדר מקנזי.
באופוזיציה.
טאפר לא היה מעורב בשערורייה הפסיפית, אך בכל מקרה הוא המשיך להעניק את תמיכתו למקדונלד ולעמיתיו מהמפלגה השמרנית הן לפני בחירות 1874 והן לאחריהן. מבחינתם של השמרנים היו בחירות אלה הרות אסון ובנובה סקוטיה היה טאפר אחד משני נציגי המפלגה היחידים שהצליחו להיבחר לפרלמנט הפדרלי.
אף על פי שמקדונלד המשיך לכהן כמנהיג המפלגה, לקח כעת טאפר חלק מרכזי יותר בהנהגת המפלגה והוא הסתמן כמי שעומד לרשת את מקדונלד. הוא הוביל את התקפות השמרנים על ממשלת מקנזי במהלך כל כהונת הפרלמנט. ממשלת מקנזי ניסתה לשאת ולתת על הסכם סחר חופשי עם ארצות הברית שיחליף את ההסכם ההדדי בין שתי המדינות שבוטל על ידי ארצות הברית ב-1864. כאשר התברר כי לא עולה בידו של מקנזי להשיג את ההסכם, החל טאפר לנקוט בגישה פרוטקציוניסטית והיה לתומך של "המדיניות הלאומית" (National Policy) שהייתה לחלק ממצע השמרנים ב-1876. בכנותו של טאפר במעברו לגישה הפרוטקציוניסטית הוטל ספק באותה עת, אך על פי סיפור שאמינותו מוטלת בספק, כאשר התעמת טאפר עם שר האוצר, ריצ'רד ג'ון קרטרייט, ב-1876, הוא התכונן לתמוך במדיניות של סחר חופשי במידה וקרטרייט היה מכריז שהליברלים שינו את גישתם וכעת הם תומכים בפרוטקציוניזם.
טאפר גם מתח ביקורת חריפה על גישתו של מקנזי בנוגע למערכת הרכבות וטען שהשלמת סלילתה של מסילת קו הרכבת הקנדית הפסיפית , שהייתה אמורה לקשר את קולומביה הבריטית, שהצטרפה לאיחוד ב-1871, עם שאר חלקיה של קנדה, צריכה לעמוד בראש סדר העדיפויות של הממשלה. עמדה זו הייתה גם היא לחלק עיקרי במצע המפלגה השמרנית.
כמו בהזדמנויות קודמות בהן לא כיהן בממשלה, היה אז טאפר פעיל יותר בתחום הרפואה בשנות שיבתו באופוזיציה, אף על פי שבתקופה זו הוא הקדיש באופן יחסי פחות מזמנו לתחום.
שר העבודות הציבוריות.
במהלך מערכת הבחירות של 1878 הוביל טאפר שוב את המערכה של השמרנים בנובה סקוטיה. בהנהגתו של מקדונלד ניצחו השמרנים ברוב סוחף ובפרלמנט שנבחר יוצגה המפלגה על ידי 16 נציגים מנובה סקוטיה מתוך 21.
בממשלה החדשה שהוקמה ב-17 באוקטובר כיהן טאפר כשר העבודות הציבוריות. בראש מעייניו הייתה השלמת מסילת הברזל הקנדית פסיפית, שאותה הוא ראה כ"דרך המלך האימפריאלית חוצת יבשת אמריקה שכולה תיסלל על אדמה בריטית". גישה זו סימנה שינוי בעמדתו. אף על פי שמאז ומתמיד הוא טען שהשלמת המסילה צריכה להיות בעדיפות עליונה של הממשלה, כאשר הוא ישב באופוזיציה הוא טען שהמיזם צריך לעבור לידיים פרטיות וכעת, מששב לממשלה, הוא טען שהממשלה צריכה לקחת לידיה את השלמת המיזם, בין השאר בשל אמונתו שהמגזר הפרטי לא יכול להשלים את הסלילה על רקע המיתון שקנדה חוותה במהלך שנות השבעים.
שר הרכבות והתעלות.
במאי 1879 החליט מקדונלד שהשלמת מסילת הברזל היא בעדיפות כה עליונה ויצר משרת שר חדשה שנושאה יתמקד ברכבות ובתעלות ולתפקיד זה מינה את טאפר.
המוטו של טאפר כשר הרכבות והתעלות היה "לפתח את המשאבים שלנו" (Develop our resources). הוא הכריז: "תמיד סברתי שהמטרה העליונה, בכל מדינה, ובמיוחד במדינה חדשה, היא למשוך אליה קפיטליסטים רבים ככל האפשר".
בקיץ אותה שנה נסע טאפר ללונדון כדי לנסות ולשכנע את ממשלת בריטניה (אז בראשותו של בנג'מין דיזראלי בתקופת כהונתו השנייה כראש הממשלה) לתת ערבות למכירתן של איגרת חוב למימון בניית המסילה. הדבר לא עלה בידו, אם כי הוא הצליח לרכוש 50,000 טונות של פסי פלדה במחירי מציאה. ידידו הוותיק של טאפר, סנדפורד פלמינג, פיקח על סלילת המסילה, אך חוסר יכולתו לדאוג לעלויות נמוכות גרמה למחלוקת פוליטית וטאפר נאלץ להעבירו מתפקידו כמהנדס הראשי של המיזם במאי 1880.
ב-1879 הוענק לטאפר התואר אביר מפקד של מסדר מיכאל הקדוש וג'ורג' הקדוש.
ב-1880 פנה לטאפר ג'ורג' סטפן בשם סינדיקט שהוא ייצג וביקש ממנו שיאפשר לו לקחת על עצמו את סלילת הקו. כשנוכח טאפר שהסינדיקט של סטפן יכול לעמוד במשימה, הוא שכנע את חברי הקבינט לגבות את התוכנית בפגישה שהתקיימה ביוני 1880 ויחד עם מקדונלד הוא ניהל משא ומתן עם הסינדיקט באוקטובר. הסינדיקט החל בבנייה בפברואר 1881.
בשנים הבאות היה טאפר לתומך הבולט ביותר של בניית המסילה במהלך התחרות שהייתה לה עם "רכבת המטענים הגדולה" (Grand Trunk Railway). בדצמבר 1883 הוא פעל לחלץ את מיזם הרכבת הקנדית הפסיפית מצרות לאחר שהוא נקלע לקשיים פיננסיים ושכנע את מפלגתו ואת הפרלמנט לקבל על עצמם את התוכנית.