ב-1969, הוביל קלהאן, שהיה תומך נלהב של הקשר בין הלייבור לבין האיגודים המקצועיים, את ההתנגדות המוצלחת בקבינט שהיה חלוק על הספר הלבן של השרה ברברה קאסל, שנקרא "במקום של המחלוקת" (In Place of Strife), שמטרתו הייתה ליצור את חוק האיגודים המקצועיים. בין ההצעות הרבות שהוגשו במסמך זה היו תוכניות לכפות על האיגודים המקצועיים לקיים הצבעה לפני הכרזה על שביתה והקמתה של מועצה ליחסי עבודה שתכפה בוררות ביחסי עבודה. באופן אירוני, אם ההצעות היו מבשילות לחוק, רוב פעולותיהם של האיגודים המקצועיים במהלך "החורף העגום" בעת כהונתו של קלהאן כראש הממשלה עשור לאחר מכן, היו נחשבות לבלתי חוקיות.
בעקבות התבוסה הבלתי צפויה של וילסון לאדוארד הית' בבחירות הכלליות של 1970, דחה קלהאן את האפשרות שהוא יתמודד מולו בבחירות לראשות המפלגה, על אף פגיעותו של וילסון. מהלך זה שיקם את שמו של קלהאן בעיניו של וילסון. הוא היה האחראי על התוויית מסמך המדיניות החדש שנוסח ב-1972 ושכלל את הרעיון של הסכם חברתי בין הממשלה לבין האיגודים המקצועיים. הוא גם פעל רבות כדי להבטיח שמפלגת הלייבור תביע את התנגדותה לשאיפת ממשלת הית' לכניסת בריטניה אל השוק האירופי המשותף.
שר החוץ.
כאשר ניצח וילסון בבחירות הכלליות הבאות ושב לכס ראש הממשלה במרץ 1974, הוא מינה את קלהאן לתפקיד שר החוץ, שבמסגרתו הוא היה האחראי על ניהול המשא ומתן על תנאי קבלתה של בריטניה כחבר בשוק האירופי המשותף. כאשר הסתיימו השיחות, הוביל קלהאן את הכרזת הקבינט על התנאים החדשים ותמך בהצבעה חיובית במשאל העם.
בחירות 1976 למנהיגות המפלגה.
פחות משנתיים לאחר שהחל וילסון את תקופת כהונתו השנייה כראש הממשלה, הוא הודיע במפתיע על התפטרותו ב-13 במרץ 1976 ובאופן בלתי רשמי הכריז על קלהאן כעל יורשו. קלהאן היה המועמד המועדף לזכייה בבחירות לראשות המפלגה. אף על פי שהוא היה המבוגר מבין כל המועמדים, הוא גם היה המנוסה מכולם והכי פחות שנוי במחלוקת. האהדה כלפיו מכל חלקי מפלגת הלייבור הובילה לניצחונו בבחירות לראשות המפלגה. ב-5 באפריל 1976, בגיל 64 שנים ו-9 ימים, מונה קלהאן לתפקיד ראש ממשלת בריטניה, האדם המבוגר ביותר שמונה לתפקיד זה מאז וינסטון צ'רצ'יל.
ראש הממשלה.
קלהאן היה ראש הממשלה היחיד שקודם לכניסתו לתפקיד, כיהן בכל שלושת התפקידים הבכירים בקבינט – שר האוצר, שר הפנים ושר החוץ.
במהלך שנתו הראשונה בתפקיד, החל קלהאן את מה שנקרא מאז "הוויכוח הגדול" (The Great Debate), כאשר הוא דיבר בקולג' רסקין שבאוקספורד על "הדאגה הלגיטימית" של הציבור בנוגע לסוגיית החינוך ככל שהיא נגעה לבתי הספר במימון המדינה, והוביל בסופו של דבר להנהגתה של "תוכנית הלימודים הלאומית" (National Curriculum) כעשר שנים מאוחר יותר. בשלב המוקדם של תקופת כהונתו כראש הממשלה הוא גרם למחלוקת בעקבות מינויו של פיטר ג'יי, שהיה אז חתנו, לתפקיד שגריר בריטניה בארצות הברית.
תקופת כהונתו של קלהאן כראש הממשלה התאפיינה בעיקר בקשיים בניהול הממשלה שנסמכה על מיעוט בבית הנבחרים. הוא נאלץ לבצע עסקאות שונות עם מפלגות קטנות כדי לשרוד, כולל "ברית הליב-לייב" (Lib–Lab pact) ולהסכים לעריכתם של משאלי עם על האצלת הסמכויות של סקוטלנד וויילס. במשאל בסקוטלנד הצביעו 51% בעד, אך לא היה בכך די כדי להגיע לרוב של 64% הדרוש. במשאל בוויילס הצביעו כ-80% נגד ההצעה. קלהאן כיהן גם כראש הממשלה בתקופה בה סבלה בריטניה מאינפלציה דו-ספרתית ומעלייה בשיעור האבטלה. הוא הגיב למשבר הכלכלי באמצעות אימוץ מדיניות דפלציונית כדי להוריד את שיעור האינפלציה וכדי לקצץ בהוצאה הציבורית, צעדים שבישרו את המדיניות המוניטריסטית של הממשלה הבאה של השמרנים בראשותה של מרגרט תאצ'ר.
על אף הקשיים הכלכליים שהממשלה התמודדה מולם, במהלך קיץ 1978, זמן קצר לאחר סיומה של "ברית ליב-לייב", הובילה מפלגת הלייבור בסקרי דעת הקהל וגברו הציפיות שקלהאן יכריז על בחירות בסתיו שיאפשרו לו לכהן בקדנציה נוספת עד סתיו 1983. בתחום הכלכלי החלו להראות סימני התאוששות באותה העת. 1978 הייתה שנה של התאוששות כלכלית בבריטניה והאינפלציה ירדה לשיעור חד-ספרתי, שיעור האבטלה צנח ושיעור רמת החיים עלה ביותר מ-8%. הוא הוליך שולל את האופוזיציה והצפייה הייתה שהוא יכריז על עריכת הבחירות בשידור חי ב-7 בספטמבר 1978. החלטתו בסופו של דבר לדחות את הבחירות נראתה בעיני רבים כסימן להשתלטותו על הבמה הפוליטית והוא הושם ללעג על ידי מתנגדיו כאשר הוא שר את שירה הישן של כוכבת המיוזיק הול, וסטה ויקטוריה, "ממתינה בכנסייה" (Waiting at the Church) בכינוס החודשי של קונגרס האיגודים המקצועיים, שכיום נראה כאחד מרגעי גבהות הלב הגדולים ביותר בפוליטיקה הבריטית המודרנית. קלהאן התכוון להכריז שהוא לא הבטיח לקיים בחירות, אך רוב הפרשנים פירשו שלא כהלכה את הודעתו כטענה שהוא יכריז על בחירות ושהשמרנים לא יהיו ערוכים לקראתם.
"החורף העגום".
דרכו של קלהאן לטפל בקשיים הכלכליים ארוכי הטווח כללו הקפאת שכר במשך ארבע שנים עם הצלחה מתקבלת על הדעת. הוא הימר על כך שהמשך השנה החמישית של מדיניות זו תשפר אף יותר את מצב הכלכלה ותאפשר לו להיבחר מחדש ב-1979 וכך הוא ניסה לבלום את עליית השכר לשיעור של 5% או פחות. האיגודים המקצועיים התנגדו להמשך הקפאת השכר ובשורה של שביתות בחורף 1978 – 1979, שכונה "החורף העגום" (Winter of Discontent), הם השיגו הבטחה לעליית השכר. אי השקט התעשייתי גרם לחוסר אהדה ציבורית כלפי הממשלה ותשובתו של קלהאן לשאלה שנשאל בראיון רק החמירה את המצב. בשובו לבריטניה מפסגה כלכלית שנערכה בגוואדלופ בראשית 1979, נשאל קלהאן: "מהי גישתך הכללית בנוגע לכאוס ההולך וגובר במדינה כעת?" קלהאן השיב: "ובכן, זוהי פרשנות שלך. אני מבטיח לך שאם תסתכל על כך מבחוץ, וייתכן שאתה נוקט כרגע בגישה די קרתנית, איני סבור שאנשים אחרים בעולם יהיו שותפים לדעה ששורר אצלנו כאוס הולך וגובר". תשובה זו צוטטה בעיתון הסאן תחת הכותרת "משבר? איזה משבר?" ("Crisis? What Crisis?"). קלהאן הודה גם מאוחר יותר בנוגע לחורף העגום שהוא "אכזב את המדינה".
במהלך החורף העגום צנחה בחדות התמיכה בלייבור בסקרי דעת הקהל. במובנים מסוימים הם הצליחו לשפר את המצב, אך בפברואר נראה היה לפחות על פי אחד הסקרים שהשמרנים עוקפים אותם והחל להסתמן הפסד ברור שלהם בבחירות הקרובות. בהכנות לקראת הבחירות, תמכו הדיילי מירור והגרדיאן בלייבור, בעוד שהסאן, הדיילי מייל, הדיילי אקספרס והדיילי טלגרף הביעו את תמיכתם בשמרנים.
ב-28 במרץ 1979 עברה בבית הנבחרים הצעת אי-אמון על חודו של קול אחד וכך נאלץ קלהאן להכריז על עריכת בחירות כלליות ב-3 במאי. השמרנים בהנהגתה של מרגרט תאצ'ר הובילו קמפיין שסיסמתו הייתה "הלייבור לא עובד" (Labour Isn't Working, משחק מילים על משמעות המילה "לייבור" שהיא "עבודה") ונצחו בבחירות.
כישלונו של קלהאן להכריז על עריכת בחירות עוד ב-1978 נתפש כחישוב מוטעה, ואכן, הוא בעצמו הודה מאוחר יותר שההחלטה על אי עריכת בחירות שנה קודם לכן הייתה טעות בשיקול. אף על פי כן, סקרים פרטיים שנערכו על ידי הלייבור בסתיו 1978 הראו ששתי המפלגות הגדולות נהנו ממידה שווה של תמיכה ציבורית. לאחר תבוסה זו בבחירות נותרה מפלגת הלייבור באופוזיציה במשך 18 שנה.
ההיסטוריונים אלן סקד וכריס קוק סיכמו את ההסכמה הכללית בקרב ההיסטוריונים בנוגע לכוחה של מפלגת הלייבור בשנות השבעים:
לאחר ההתפטרות.
על אף ההפסד בבחירות, המשיך קלהאן לכהן כמנהיג הלייבור עד ל-15 באוקטובר 1980, זמן קצר לאחר שוועידת המפלגה הצביעה על מיסוד שיטת בחירות חדשה על ידי גוף בוחר שכלל את חברי האיגודים המקצועיים. התפטרותו הבטיחה שיורשו ייבחר רק על ידי חברי הפרלמנט של המפלגה. לאחר קמפיין שחשף את המחלוקות העמוקות בסיעת המפלגה בפרלמנט, ניצח מייקל פוט בקושי את דניס הילי בסיבוב בחירות שני שנערך ב-10 בנובמבר וירש את קלהאן כמנהיג המפלגה. פוט נכנס למרוץ מאוחר יחסית והחלטתו להצטרף שמה קץ לסיכוייו של פיטר שור.
ב-1982, יחד עם ידידו, ג'רלד פורד, ייסד קלהאן את פורום AEI העולמי השנתי. ב-1983 הוא תקף את תוכניותיה של מפלגת הלייבור לקצץ בהוצאות ההגנה. באותה שנה הוא היה לזקן חברי בית הנבחרים (Father of the House), כמ ששירת ברציפות במשך התקופה הארוכה ביותר מבין כל חברי הבית.
ב-1987 הוענק לקלהאן תואר אביר מסדר הבירית ובבחירות שהתקיימו באותה שנה הוא פרש מהפרלמנט לאחר 42 שנות כהונה. זמן קצר לאחר מכן, הוא נכנס לבית הלורדים לאחר שהוענק לו התואר ברון קלהאן מקארדיף. באותה שנה פורסמה האוטוביוגרפיה שלו, "זמן והזדמנות" (Time and Chance). הוא גם שימש כדירקטור בבנק ויילס.
ב-1996 הוענק לקלהאן תואר דוקטור לשם כבוד על ידי האוניברסיטה הפתוחה.
ב-3 באפריל 1997 כתב טוני בן ביומנו שבמהלך מערכת הבחירות שהתקיימו באותה שנה התקשרה לקלהאן בטלפון מתנדבת במטה הבחירות של הלייבור ושאלה אותו אם הוא יהיה מעוניין להיות פעיל יותר במפלגה. על פי בן:
במהלך ראיון בתוכנית רדיו של BBC 4 התברר כי קלהאן היה ראש הממשלה היחידי שהיה מורה על שיגור מתקפת נקמה במקרה של התקפה גרעינית על בריטניה:
באוקטובר 1999 אמר קלהאן בריאיון למגזין The Oldie שהוא לא יהיה מופתע אם הוא יחשב כראש הממשלה הגרוע ביותר של בריטניה מזה מאתיים שנה.
חיים אישיים.