מנהיג המפלגה השמרנית של נובה סקוטיה, ג'יימס ויליאם ג'ונסטון, חבר גם הוא בכנסייה הבפטיסטית וידיד של משפחת טאפר, עודד את צ'ארלס טאפר להיכנס לחיים הפוליטיים. ב-1855 התמודד טאפר מול פוליטיקאי מהמפלגה הליברלית של נובה סקוטיה, ג'וזף האו, במחוז הבחירה קמברלנד על מושב באספת הנבחרים של נובה סקוטיה. בשנים הבאות היה האו יריבו הפוליטי של טאפר.
אף על פי שטאפר זכה במושב באספת הנבחרים, היו הבחירות שנערכו במושבה באותה שנה אסון מבחינתם של השמרנים, כשהליברלים, בהנהגתו של ויליאם יאנג, זכו ברוב גדול. כתוצאה מכך היה יאנג לראש ממשלת נובה סקוטיה.
באספת חברי המפלגה השמרנית שנערכה בינואר 1856, המליץ טאפר לחברי המפלגה על כיוון חדש: עליהם להתחיל ולחזר באופן פעיל אחר המיעוט הקתולי שבמושבה ולחתור לסלילתה של מסילת ברזל. בהבינו שהוא הוביל את המפלגה לבחירות הרות אסון, החליט ג'ונסטון להעביר באופן בסיסי את השליטה במפלגה לטאפר, אף על פי שהוא המשיך לכהן כמנהיג המפלגה. במהלך שנת 1856 הוביל טאפר את מתקפותיה של המפלגה על הממשלה וגרם להאו לכנותו "הצרעה" המכושפת מקמברלנד". בראשית 1857 שכנע טאפר מספר חברים קתולים מהמפלגה הליברלית לחצות את הקווים ולהצטרף למפלגה השמרנית, ובכך הפך את ממשלתו של יאנג לממשלת מיעוט. כתוצאה מכך אולץ יאנג להתפטר בפברואר אותה שנה והשמרנים הרכיבו ממשלה עם ג'ונסטון כראש הממשלה. טאפר מונה להיות מזכיר המושבה (Provincial Secretary).
בנאומו הראשון של טאפר כמזכיר המושבה באספת הנבחרים, הוא הציג תוכנית שאפתנית לסלילת מסילת רכבת. כך פתח טאפר את הציר המרכזי של משנתו הפוליטית: על תושבי נובה סקוטיה (ומאוחר יותר תושבי קנדה) להפחית בחשיבות ההבדלים האתניים והדתיים ביניהם ותחת זאת להתמקד בפיתוח המשאבים הטבעיים של ארצם. הוא הסכים שעם "המכרות הבלתי נדלים" של נובה סקוטיה, היא יכולה להפוך למרכז תעשייתי עצום של החוף המזרחי של אמריקה הצפונית. עד מהרה הוא שכנע את ג'ונסטון לחסל את המונופול של "אגודת הכרייה הכללית" על פעילות הכרייה בנובה סקוטיה.
ביוני 1857 יזם טאפר שיחות עם נציגים מניו ברנזוויק ופרובינציית קנדה בנוגע לסלילת מסילת ברזל אינטר-קולוניאלית. ב-1858 הוא נסע ללונדון כדי להבטיח גיבוי של ממשלת האימפריה הבריטית למיזם. במהלך דיונים אלו הבין טאפר שהקנדים מעוניינים יותר בדיון על איחוד פדרלי, בעוד שהבריטים (שכראש ממשלתם כיהן אז הלורד דרבי) היו שקועים מדי באינטרסים המידיים שלהם. עקב כך, הדיונים על מסילת הברזל לא הניבו שום תוצאה.
עימות מפלג עמד במרכזה של מערכת הבחירות של 1859, כשהקתולים ברובם תמכו בשמרנים והפרוטסטנטים העבירו את תמיכתם לליברלים. טאפר כמעט ולא הצליח לשמור על מושבו. השמרנים הצליחו בקושי רב להיבחר מחדש לשלטון ואף הובסו בהצבעת אי-אמון מאוחר יותר באותה שנה. ג'ונסטון ביקש ממושל נובה סקוטיה, הלורד מולגרייב, לפזר את אספת הנבחרים, אך מולגרייב סירב והזמין את ויליאם יאנג להרכיב ממשלה. טאפר זעם, מחה בפני ממשלת בריטניה וביקש מהם להדיח את מולגרייב.
בשלוש השנים הבאות הוקיע טאפר בפראות את ממשלת הליברלים, בתחילה את יאנג ולאחר מכן את האו שירש את מקומו ב-1860. ב-1863 הגיעו הדברים לידי כך שכשהליברלים הגישו הצעת חוק להגבלת זכות הבחירה, עלה בידם של ג'ונסטון וטאפר לסכל אותה בהצלחה.
באותה תקופה המשיך טאפר לעסוק ברפואה. הוא הקים מרפאה מצליחה בהליפקס, והיה לפקיד הבריאות של העיר. ב-1863 הוא נבחר לנשיא החברה הרפואית של נובה סקוטיה.
בבחירות שנערכו ביוני אותה שנה ניהלו השמרנים מערכה שבמרכזה עמדה סלילת הרכבת והרחבת הנגישות למערכת החינוך הציבורי. השמרנים זכו ברוב גדול וגרפו 44 מתוך 55 המושבים באספת הנבחרים. ג'וונסטון שב לכס ראש הממשלה וטאפר היה שוב למזכיר המושבה. כסימן נוסף לגישתם האנטי-פלגנית של השמרנים, נפתח מחדש באותה שנה, לאחר 20 שנות הפסקה, קולג' דלהוסי כמוסד חילוני ללימודים גבוהים. במאי 1864 פרש ג'ונסטון מהחיים הפוליטיים והתמנה כשופט וטאפר נבחר להיות יורשו כראש ממשלת נובה סקוטיה.
ראש ממשלת נובה סקוטיה.
ב-1864 הגיש טאפר הצעת חקיקה שאפתנית בתחום החינוך ויצר מערכת בתי ספר ציבוריים במימון המדינה. ב-1865 הוא הגיש הצעת חוק להטלת מיסוי חובה למימון בתי ספר אלה. בתי הספר הציבוריים הללו היו חילוניים, וכתוצאה מכך מתחו הפרוטסטנטים ביקורת חריפה על טאפר. פרוטסטנטים רבים, במיוחד הבפטיסטים, חשו שטאפר בגד בהם. כדי לשמר את אמונם בו, הוא מינה את איש החינוך הבפטיסטי, תאודור הרדינג ראנד, לתפקיד מפקח החינוך הראשון של נובה סקוטיה. צעד זה עורר דאגה בקרב הקתולים, בהנהגת תומאס-לואיס קונולי, הארכיבישוף של הליפקס, שדרש מימון ממשלתי לבתי הספר הקתוליים. טאפר הגיע עם קונולי לפשרה לפיה בתי הספר הקתוליים יקבלו מימון ממשלתי כל עוד לימודי הדת יערכו לאחר שעות הלימודים.
כדי לקיים את הבטחתו להרחבת רשת הרכבות, מינה טאפר ב-1864 את סנדפורד פלמינג לתפקיד המהנדס הראשי של חברת הרכבות של נובה סקוטיה כדי להרחיב את המסילה מטרורו לפיקטו לנדינג. בינואר 1866 הוא חתם עם פלמינג על חוזה להשלמת הקו לאחר שקצב העבודה של הקבלנים המקומיים היה איטי מדי. אף על פי שהחלטה זו הייתה שנויה במחלוקת, כתוצאה מכך הושלמה סלילת הקו במאי 1867. סלילתו של קו שני, מאנאפוליס רויאל לווינדזור, התנהלה בתחילה באיטיות, אך בסופו של דבר הושלמה ב-1869 על ידי חברה פרטית.
חלקו של טאפר באיחוד קנדה.
במערכת הבחירות של 1859 בנובה סקוטיה לא היה טאפר מעוניין להתחייב לרעיון של איחוד עם שאר מושבות צפון אמריקה הבריטית. בכל אופן, ב-1860 הוא שקל מחדש את עמדתו. טאפר התווה את עמדתו החדשה בהרצאה שקיים בסנט ג'ון, ניו ברנזוויק שכותרתה הייתה: "המצב הפוליטי בצפון אמריקה הבריטית". כותרת זו הייתה מחווה לדוח שהוגש ב-1838 על ידי מי שכיהן אז כמושל פרובינציית קנדה, הלורד דורהם, שנשא כותרת דומה ובהרצאה העריך טאפר את מצבן של המושבות בשני העשורים שחלפו מאז דוח דורהם. אף על פי שטאפר התעניין בהשלכות הכלכליות האפשריות של איחוד עם שאר המושבות, החלק העיקרי של הרצאתו נגע למקומה של צפון אמריקה הבריטית כחלק מהאימפריה הבריטית. לאחר ששוכנע במהלך מסעו ללונדון ב-1858 שהפוליטיקאים הבריטים לא מעוניינים להקדיש תשומת לב למושבות קטנות כמו נובה סקוטיה, טען טאפר שנובה סקוטיה ומושבות אחרות השוכנות על חוף האוקיינוס "לא יוכלו אף פעם לקוות לתפוס עמדה משפיעה או חשיבות אלא רק באמצעות יצירת קשר עם אחותם הגדולה קנדה". לפיכך הציע טאפר ליצור את "אמריקה הבריטית" ש"תשתרע מהאוקיינוס האטלנטי עד האוקיינוס השקט ושתוך כמה שנים תפגין כלפי העולם את קיומו של ארגון רחב ובעל עוצמה, שבו יתקיימו מוסדות בריטיים, שותפות עם בריטניה והלכי רוח בריטיים, הקשורים ללא צל של ספק עם המלוכה הבריטית".
ועידת שארלוטטאון.
עם פרוץ מלחמת האזרחים האמריקנית ב-1861 הביע טאפר את חששו שהאיחוד המנצח יפנה צפונה ויכבוש את מושבות צפון אמריקה הבריטית. חשש זה גרם לו להגביר את מחויבותו לרעיון האיחוד, שאותו הוא ראה כעת כצעד הגנתי חיוני לטובתן של מושבות בריטניה כנגד תוקפנות אמריקאית. מאחר שהוא סבר שאיחוד מלא של המושבות יהיה בלתי אפשרי למשך שנים רבות, הוא הציע תחת זאת ב-28 במרץ 1864 "איחוד ימי" שיאחד את המושבות השוכנות על חוף היום כהכנה לאיחוד צפוי עם פרובינציית קנדה. כינוס ועידה שתדון על האיחוד המוצע של נובה סקוטיה, ניו ברנזוויק ואי הנסיך אדוארד נקבע לספטמבר אותה שנה בשארלוטטאון, בירת אי הנסיך אדוארד.
טאפר הופתע לטובה כאשר ראש ממשלת פרובינציית קנדה, ג'ון אלכסנדר מקדונלד ביקש שיתאפשר לו להיות נוכח בוועידה. הוועידה, שבראשה ישבו במשותף טאפר עצמו וראש ממשלת ניו ברנזוויק, סמואל לאונרד טילי, קידמה בברכה את הנציגות הקנדית וביקשה מהם להצטרף לוועידה. הוועידה נחלה הצלחה רבה ונוסח בה הסכם עקרוני על איחוד בין ארבע המושבות.
וועידת קוויבק.
וועידת קוויבק התקיימה ב-10 באוקטובר אותה שנה בקוויבק סיטי כהמשך לוועידת שארלוטטון כשניופאונדלנד משמשת בה כמשקיפה. טאפר עמד בראש המשלחת מנובה סקוטיה. הוא תמך בהקמת איחוד בתי המחוקקים של המושבות, כלומר קיומו של פרלמנט אחד בלבד. עם זאת, הנציגים הקנדים צרפתים לוועידה, שהבולטים מבניהם היו ז'ורז'-אטיין קרטייה ואקטור-לואי לנגוון, שהתנגדו בחריפות לרעיון. טאפר הטיל את כל כובד משקלו לקידום הצעתו של מקדונלד לאיחוד פדרלי, שבמסגרתו תמשיך כל אחת מהמושבות לקיים את המועצה המחוקקת שלה, במקביל לרשות מחוקקת מרכזית שתהייה אחראית על נושאים בעלי עניין משותף. טאפר דחף לקיומו של ממשל מרכזי כעדיפות שנייה על פני גוף מחוקק מרכזי בעל סמכויות מוחלשות. הוא חש, בכל אופן, שעל המועצות המחוקקות המקומיות לשמר את היכולת שלהן להטיל מיסוי על משאביהן הטבעיים.
מתוך דאגה לשליטה של פרובינציית קנדה על הפרלמנט המאוחד, הסכים טאפר בסופו של דבר לנוסחה שלפיה הממשלה הפדרלית תשלוט במערכת המכסים בתמורה לסובסידיה בסכום של 80 סנט לשנה לכל אחד מתושבי נובה סקוטיה. העסקה הוכחה בסופו של דבר כבלתי משתלמת עבור נובה סקוטיה, שבאופן היסטורי קיבלה את רוב ההכנסות הממשלתיות שלה מגביית מכסים וכתוצאה מכך היא נכנסה לאיחוד עם גירעון.
לאחר ועידת קוויבק.