על אף שלא ניצח בבחירות, קוהל נבחר לשורות הבונדסטאג והיה ליושב ראש האופוזיציה. בשנים 1976 עד 2002 היה קוהל חבר הבונדסטאג, הבית התחתון של הפרלמנט הגרמני הפדרלי. פרנץ יוזף שטראוס, המנהיג הנועז והניצי של המפלגה הנוצרית-סוציאלית בבוואריה (CSU), אשר נודע לא פעם בפליטות פה חריפות, תקף בפומבי את קוהל וטען כי לא סביר שיהיה לו חותם על ההיסטוריה, והכריז זמן קצר קודם הבחירות הכלליות ב-1976 כי קוהל אינו כשיר בשום אופן לשאת במשרת הקנצלר. "קוהל אינו מסוגל לחלוטין (לשאת בתפקיד)", אמר שטראוס בכנס מפלגתי במינכן. "חסר לו האופי, וחסרים לו הכישורים האינטלקטואליים והפוליטיים. חסר לו הכל."
ארנסט האוזר, לוביסט של לוקהיד מטוסים לשעבר, העיד בפני חוקרי הסנאט כי שר ההגנה הגרמני שטראוס ומפלגתו קיבלו בשנת 1961 לפחות 10 מיליון דולר עבור רכישת 900 מטוסי F-104 סטארפייטר. המפלגה והעומד בראשה הכחישו את הטענות נגדם ושטראוס עצמו אף תבע את ארנסט על הוצאת דיבה. כיוון שלא ניתן היה לאמת את הטענות, הנושא ירד מסדר היום הציבורי לזמן מה, אך צף ועלה שוב בשלב הסופי של הבחירות לבונדסטאג בספטמבר 1976, עת נשאלו שאלות אודות מיקומם של "מסמכי לוקהיד" במשרד ההגנה הגרמני, פרשייה זאת, אחת מיני פרשיות השחיתות של לוקהיד, פגעה בביצועים של מפלגות האיחוד CDU\CSU בראשות קוהל לקראת הבחירות.
במהלך הבחירות הכלליות ב-1980, שטראוס היה מועמד האיחוד למשרת הקנצלר, והיריבות בינו לבין קוהל, כמו גם הישארותו בתפקיד השר-הנשיא של בוואריה במקביל להתמודדותו למשרת הקנצלר, פגעו פעם נוספת בתוצאות האיחוד בבחירות, בעוד שמידט חיזק את מעמד הקואליציה שבראשותו. לאחר ההפסד בבחירות המשיך שטראוס לכהן כשר-הנשיא של בוואריה בעוד קוהל כיהן כיו"ר האופוזיציה בבונדסטאג.
קנצלר גרמניה המערבית.
קדנציה ראשונה.
ב-20 בספטמבר 1982, לאחר שהקנצלר שמידט פירק את הקואליציה של מפלגתו עם המפלגה הדמוקרטית החופשית (FDP) בראשות הנס-דיטריך גנשר, על רקע חילוקי דעות קשים על המדיניות הכלכלית ועמד גם בפני יריבות פנימית מתוך מפלגתו, פתחו ה-CDU ומפלגת האחות הבווארית שלה (CSU) במגעים להקמת קואליציה עם ה-FDP. שמידט עמד מול מתנגדים רבים למדיניותו הכלכלית והביטחונית גם מקרב הפלג השמאלי בתוך מפלגתו. ב-1990 התברר שכ-25 חברי בונדסטאג מטעם ה-SPD היו למעשה סוכנים שפעלו בשירות גרמניה המזרחית. ב-1 באוקטובר קרא קוהל להצבעת אי-אמון בממשלתו של שמידט תוך ניצול התמיכה של ה-FDP. ההצבעה עברה בבונדסטאג ושמידט הודח מתפקידו כקנצלר. יו"ר האופוזיציה, קוהל, התמנה להחליפו כקנצלר לאחר שהציג בפני נשיא גרמניה קרל קרסטנס קואליציה צרה שכוללת את מפלגות האיחוד CDU\CSU וה-FDP.
קוהל הושבע לתפקיד הקנצלר ב-1 באוקטובר 1982 במסגרת הצבעת האי-אמון המכוננת נגד הלמוט שמידט, והיה בכך לקנצלר השישי של גרמניה הפדרלית והשלושים וחמישה בסך הכול מאז אוטו פון ביסמרק. בתפקיד שר החוץ נותר מי שכיהן בתפקיד גם בקואליציה הקודמת, הנס-דיטריך גנשר מה-FDP, שבמקביל גם כיהן כסגן הקנצלר. קוהל, כקודמו שמידט, שימר גם הוא את מדיניות ה"אוסטפוליטיק" שפיתח הקנצלר לשעבר ברנדט כדי לסבסד יחסים סדירים עם הגוש המזרחי.
קוהל העריך נכונה את מצבו הטוב בדעת הקהל והביא לפיזור הבונדסטאג על ידי נשיא גרמניה ולבחירות חדשות, בהן חיזקה מפלגתו שלו את כוחה ושותפתו לקואליציה, ה-FDP, נחלשה ואיבדה במידה מהשפעתה. במסגרת הבחירות, "האיחוד" השיג מספיק מושבים כדי להקים ממשלה צרה אך קוהל העדיף לשמר את הקואליציה הקיימת כאשר בידיו משקל השפעה רב יותר בתוך הקבינט על ה-FDP מאשר היה לו בממשלה הקודמת. במהלך הבחירות לראשונה עלתה מפלגת הירוקים בראשות פטרה קלי, שהשיגה 27 מושבים בפרלמנט ובכך הפכה למפלגה הרביעית בגודלה בבונדסטאג.
קדנציה שנייה - המלחמה הקרה.
שאלת ההצבה של טילים בליסטים לטווח בינוני מסוג פרשינג 2 היכולים לשאת ראש נפץ גרעיני הובילה להתגוששות פוליטית חריפה בתוך גרמניה. היריבות על הצבת הטילים הובילה לקרע פנימי במפלגה הסוציאל-דמוקרטית כבר ב-1981 והייתה גורם עיקרי למפלתו הפוליטית של שמידט. "האיחוד" (CDU\CSU) נשא תמיכה רבה יותר מקרב חבריו לתוכנית ההצבה, אך עדיין עמד בפני יריבות נרחבת מרחבי המערכת הפוליטית, בעיקר מפני גורמים פציפיסטיים שהתנגדו לכך שגרמניה המערבית תנקוט עמדה צבאית חריפה שכזאת מול הגוש המזרחי.
לבסוף נפלה ההחלטה ועם השגת הרוב המוצק לאחר הבחירות מוקדם יותר באותה השנה, הוחלט לאפשר את הצבת הטילים. לנוכח מחאות ענק מסביב לבניין הבונדסטאג בבון, קוהל הודיע ב-22 בנובמבר 1983 כי ממשלתו "מוכנה לעשות את מה שנועד להגן על החופש והביטחון שלנו." קוהל המשיך באומרו כי "נשק וחוזק צבאי אינם מרתקים אותנו ואנחנו לא מכורים לרקטות", זאת בניסיון להקהות את הביקורת הנוקבת שהטיחה נגדו האופוזיציה בהנהגת ה-SPD. עוד באותו היום יותר מ-150 בני אדם נעצרו בזמן שהמשטרה התעמתה עם 3,000 מפגינים שביקשו לשבש את הדיון על פריסת טילי פרשינג 2 על אדמת גרמניה המערבית לקראת אשרור הפרלמנט. מאות שוטרים מצוידים בקסדות ובמגנים הקימו מעגל אבטחה הדוק סביב בניין הפרלמנט וסביב הקנצלר עצמו. תותחי מים וגז מדמיע שימשו להשקטת מפגינים שניסו לפרוץ את המחסומים במאמץ להגיע למשרדי הממשלה.
קוהל היה משוכנע כי עליו לקדם את שיפור היחסים בין מזרח ומערב גרמניה, והתדיין פעמיים עם מנהיג גרמניה המזרחית, אריך הונקר, בין 1984 ל-1985, ראשית בעת הלווית מנהיג ברית המועצות יורי אנדרופוב ובשנית בהלוויית יורשו, קונסטנטין צ'רניינקו. ביוני 1983 ממשלת גרמניה המזרחית ביצעה הלוואה של מיליארד מארק גרמני מהבנק הפדרלי של גרמניה המערבית, מהלך שנעשה בפיקוח הממשלות והשפיע על התלות הכלכלית של מזרח גרמניה על המערב.
ב-1985, במהלך ביקור ממלכתי של נשיא ארצות הברית רונלד רייגן בגרמניה המערבית, התרחשה תקרית דיפלומטית המכונה מחלוקת ביטבורג. המחלוקת הייתה לסערה ציבורית שפרצה בעקבות כוונתו של הנשיא האמריקאי לבקר בבית קברות צבאי, שבו נקברו גם חיילים של הוואפן אס אס, במסגרת אירועי ציון מלאת 40 שנה לסיום מלחמת העולם השנייה באירופה. הידיעה על הביקור המתוכנן בבית הקברות עוררה כעס רב מחוץ לגרמניה. אנשי ממשל רבים, קציני צבא ואח"מים שונים יצאו במחאה על הכוונה לקיימו. 53 סנאטורים, ובהם 11 רפובליקנים ממפלגתו של רייגן, חתמו על מכתב לנשיא שבו הוא נקרא לבטל את הביקור. 257 חברי בית הנבחרים ובהם 84 רפובליקנים פנו לקנצלר קוהל במכתב שבו ביקשו כי יחזור בו מן ההזמנה לבקר באתר. קוהל מצדו הודה כי הפרשה יצרה מתיחות רבה ביחסי ארצות הברית וגרמניה, אך לא ויתר ואמר בריאיון עיתונאי כי אם הביקור לא ייצא אל הפועל הדבר יפגע עמוקות ברגשות עמו. סקר דעת קהל העלה כי 72% מהמערב גרמנים סברו שהביקור בבית הקברות צריך לצאת לפועל כמתוכנן. רייגן הוציא את הביקור לפועל למרות המחאה. ביום ראשון, 5 במאי 1985, ביקרו הנשיא רייגן והקנצלר קוהל באתר מחנה הריכוז ברגן-בלזן. מאוחר יותר הגיעו לבסיס חיל האוויר ביטבורג וממנו יצאו אל בית הקברות קולמסהוהה. האבטחה סביבם הייתה הדוקה כל אורך הביקור.
קדנציה שלישית - המאבק לאיחוד גרמניה.
ב-1987 נבחר לקדנציה שלישית כקנצלר. באוגוסט אותה השנה הודיע כי ארצו מוכנה לפזר את כל טילי הפרשינג-2 המוצבים בשטחה בתנאי שבתוך פחות משנה יגיעו מעצמות-העל להסדר הגבלת נשק גרעיני. ההודעה פורסמה בצל הרפורמות הפוליטיות של מנהיג ברית המועצות מיכאיל גורבצ'וב ופתיחותו פורצת הדרך למערב.
לנוכח סתיו העמים וסיומה של המלחמה הקרה, קוהל היסס תחילה לנוע למגעים לעבר איחוד גרמניה מחדש וב-28 בנובמבר 1989 אף הציג בפני הבונדסטאג תוכנית חומש בעבור איחוד אפשרי הדרגתי. מפנה בעמדתו חל בעקבות זעקתם של תושבי גרמניה המזרחית וההגירה ההמונית לעבר המערב, שהגיעה בשיאה ל-2,000 איש מדי יום. כדי להימנע ממחסור אוכלוסין במזרח, החליט קוהל שיש לנקוט אמצעים חדורי מטרה לעבר איחוד מהיר ומתבקש.
מנהיגי בריטניה וצרפת, תאצ'ר ומיטראן בהתאמה, חששו מפני הבאות בעקבות איחוד מחודש של גרמניה ומפני החייאה אפשרית של שאיפות גרמניות מימי תרום מלחמת העולם השנייה. על כן פעלו המנהיגים למנוע את איחוד גרמניה מחדש. מיטראן סירב להיענות להזמנתו של קוהל לטקס חגיגי לכבוד הפתיחה המחודשת של שער ברנדנבורג ותאצ'ר נתנה את גבה לגורבצ'וב וביקשה ממנו שימנע את איחוד גרמניה. נוסף גם החשש כי נפילת גרמניה המזרחית עלולה לגרום להדחה של גורבצ'וב מהנהגת ברית המועצות. עבור ההסדר הסופי של יחסי גרמניה המאוחדת עם שאר המעצמות המערביות נפגש קוהל עם הנשיא ג'ורג' הרברט ווקר בוש במעון הנופש הנשיאותי בקמפ דייוויד, מרילנד, ב-24 בפברואר 1990.
בעקבות הבחירות הכלליות בגרמניה 1990, שהיו הבחירות הכלליות הדמוקרטיות הראשונות מאז ימי רפובליקת ויימאר שהתקיימו בכל גרמניה, קוהל השיג רוב מוחץ בקרב מצביעים מזרח גרמנים. לאחר הבחירות, החליט מיטראן לנקוט במדיניות שונה; בהכרה כי איחוד גרמניה מחדש הוא בלתי נמנע, החליט לפעול לוודא שגרמניה לא תוכל לפעול נגד צרפת וכלל הקהילה האירופית. מיטראן דרש מממשלת קוהל לחזק את קשריה הכלכליים של גרמניה עם הקהילה האירופית. דרך המערכת הכלכלית המוניטרית שבנו ואלרי ז'יסקר ד'אסטן והלמוט שמידט בימיהם, מיטראן וקוהל קידמו את ההקמה של מטבע אירופי אחיד וחיזוק הקשרים הכלכליים הפנימיים בין חברי הקהילה האירופית.