ב-1947 מונה קלהאן להיות המזכיר הפרלמנטרי של שר התחבורה ובעצת מפקד משטרת הרטפורדשייר, סר ארתור יאנג, עמדה תקופת כהונתו בתפקיד זה בסימן שיפורים בבטיחות הדרכים, במיוחד הנהגתם של מעברי חציה בדגם "זברה" והרחבת השימוש בסימוני עיני חתול. ב-1950 הוא עבר להיות המזכיר הפרלמנטרי והפיננסי של האדמירליות, שם הוא היה נציגה במועצת אירופה והתנגד לתוכניות להקמתו של צבא אירופאי.
קלהאן זכה לאהדה בקרב חברי הפרלמנט של מפלגתו ונבחר כל שנה כחבר בממשלת הצללים בכל התקופה בה ישבה מפלגת הלייבור באופוזיציה, 1951 עד 1964. באותה תקופה הוא היה מחסידיו של יו גייטסקל באגף הימני של המפלגה. בין השנים 1955 – 1960 הוא היה היועץ הפרלמנטרי של פדרציית השוטרים של אנגליה וניהל אז את המשא ומתן להגדת שכר השוטרים יחד עם מי שהיה אז המזכיר הכללי של הפדרציה, ארתור צ'ארלס אוונס. ב-1960 התמודד קלהאן על תפקיד סגן מנהיג המפלגה כמתנגד לפירוק נשק גרעיני חד-צדדי ועל אף העובדה שמועמדים אחרים מהאגף הימני של המפלגה, כמו ג'ורג' בראון, הסכימו עם מדיניותו, הוא הצליח לגרור את בראון לסיבוב הצבעה שני. בנובמבר 1961 מונה קלהאן להיות שר האוצר בממשלת הצללים. בינואר 1961, לאחר מותו של גייטסקל, התמודד קלהאן בבחירות לתפקיד יורשו, אך הוא הגיע רק למקום שלישי בהתמודדות ונוצח על ידי הרולד וילסון. אף על פי כן, הוא זכה בתמיכתם של אנשי האגף הימני של המפלגה, כמו דניס הילי ואנתוני קרוסלנד, ששאפו למנוע מוילסון להיבחר כמנהיג המפלגה, אך גם לא בטחו בג'ורג' בראון.
שר האוצר.
באוקטובר 1964 הכריז ראש הממשלה מטעם המפלגה השמרנית, סר אלק דאגלס-יום, שכיהן בתפקידו 12 חודשים בלבד לאחר התפטרותו של הרולד מקמילן, על עריכת בחירות כלליות. היו אלו בחירות קשות, אך מפלגת הלייבור זכתה ברוב דחוק ומספר מושביה בבית הנבחרים גדל ב-56 והגיע ל-317 מול 304 המושבים של השמרנים. ממשלת הלייבור החדשה בראשותו של הרולד וילסון נאלצה להתמודד מידית עם בעיות כלכליות ובשעות הראשונות לכהונתו החליט וילסון למנות את קלהאן לתפקיד שר האוצר. על הממשלה החדשה היה להתמודד עם גירעון במאזן התשלומים ועם מתקפות ספקולטביות על הלירה שטרלינג. המדיניות הכלכלית נגעה לממשלה כולה וקלהאן הסכים שיש להימנע ככל האפשר מפיחות והצליח להסדיר הלוואות מבנקים מרכזיים זרים ולהעלות חלק מהמסים כדי לייצב את הכלכלה. תקופת כהונתו של קלהאן כשר האוצר התרחשה בתקופת משבר: אינפלציה גבוהה, שיעור אבטלה גבוה, כלכלה בלתי יציבה, גירעון בתקציב, גירעון במאזן היבוא והיצוא ומאבק על ערכה של הליש"ט.
ב-11 בנובמבר הגיש קלהאן את התקציב הראשון שלו והכריז על העלאת מס ההכנסה ועל העלאת המס על הדלקים ועל הטלת מס רווח הון, צעדים שרוב הכלכלנים סברו שהם חיוניים לגרום לכלכלה ולמטבע להתאזן. הצעת התקציב כללה גם צעדים להגדלת הקצבאות ששולמה על ידי המדינה, צעד שלא התחבב על אנשי הסיטי ועל ידי הספקולטורים וגרם להסתערות על הליש"ט. ב-23 בנובמבר הוחלט להעלות את שיעור הריבית מ-2% ל-7%, צעד שנמתחה עליו ביקורת רחבה. ההתמודדות עם המשבר נעשתה קשה יותר עקב גישתו של הלורד קרומר, נגיד בנק אנגליה, שטען כנגד המדיניות הפיסקלית של ממשלת הלייבור החדשה. כאשר קלהאן ווילסון איימו להכריז על עריכת בחירות חדשות, העמיד הנגיד עד מהרה הלוואה של 3 מיליארד ליש"ט כדי לייצב את הרזרבות ואת הגירעון.
התקציב השני של קלהאן הוגש ב-6 באפריל 1965, ובו הוא הכריז על מאמצים לבצע דפלציה של הכלכלה ועל הפחתת הדרישה ליבוא ב-250 מיליון ליש"ט. זמן קצר לאחר מכן, הופחתה הריבית מ-7% ל-6%. לזמן קצר התייצבו הכלכלה והשוק הפיננסי הבריטיים וכך ביוני התאפשר לקלהאן לערוך ביקור בארצות הברית כדי לדון על מצב הכלכלה הבריטית עם נשיא ארצות הברית לינדון ג'ונסון ועם אנשי קרן המטבע הבינלאומית .
ביולי ספגה הליש"ט לחץ רב וקלהאן נאלץ לנקוט בצעדים קשים זמניים כדי להשיג שליטה על הכללה. צעדים אלו כללו השעיית כל מיזמי הבנייה הממשלתיים ודחיית יישומן של תוכניות חדשות לתשלומי פנסיה. האלטרנטיבה הייתה לאפשר לשער הליש"ט להתנודד על פי ההיצע והביקוש או לפחת אותו. בכל אופן, היו קלהאן ווילסון נחושים בדעתם שפיחות הליש"ט ייצור בעיות חברתיות וכלכליות חדשות והם המשיכו להתנגד לכך בתקיפות. הממשלה המשיכה להיאבק, הן בבעיות הכלכליות והן ברוב הדחוק שלה בפרלמנט, שב-1966 ירד כבר למושב אחד. ב-28 בפברואר הכריז וילסון באופן רשמי על עריכת בחירות ב-31 במרץ 1966. ב-1 במרץ הגיש קלהאן לבית הנבחרים "תקציב קטן" והודיע על החלטה היסטורית שבריטניה תעבור לשיטת מטבע עשרונית. אך רק ב-1971 תחת ממשלת השמרנים, עברה בריטניה משיטת מטבע של לירה שטרלינג, שילינג ופני לשיטה העשרונית על פיה כל לירה שטרלינג הכילה מאה פני. הוא גם הודיע על תוכנית משכנתאות קצרת-טווח כדי להקל על בעלי השכר הנמוך לנוכח הקשיים הכלכליים. זמן קצר לאחר מכן עלה מספר מושביה של הלייבור בפרלמנט ל-363 מול 252 המושבים של השמרנים וכך עלה בידה להשיג רוב של 97.
את התקציב הבא שלו הגיש קלהאן ב-4 במאי. בנאום בו הוא הגיש את "התקציב הקטן" טרם הבחירות, הוא הודיע לחברי בית הנבחרים שהוא יגיש תקציב מלא. הנקודה העיקרית בתקציב הייתה הנהגת מס מעסיקים סלקטיבי, שהפלה את מגזר השירותים לטובת המגזר התעשייתי. 12 יום לאחר אישור התקציב הכריז איגוד הימאים הארצי על שביתה כללית והקשיים המוניטריים הוכפלו. שביתות נוספות גרמו לגירעון במאזן התשלומים לצמוח וההלוואה על סך 3.3 מיליארד ליש"ט הייתה כעת נחוצה מאוד. שיעור האבטלה עלה גם הוא. עם עליית הלייבור לשלטון עמד מספר המובטלים על 300,000 איש, אך שנתיים לאחר מכן הוא טיפס ליותר מ-500,000.
ב-14 ביולי הועלתה הריבית שוב ל-7%. ב-20 ביולי הודיע קלהאן על תוכנית חירום של עשר נקודות, שתכלול הקפאת שכר למשך שישה חודשים. ב-1967 החלה הכלכלה להתייצב שוב ושיעור הריבית הורד במרץ ל-6% ובמאי ל-5.5%. במצב זה עלה בידו של קלהאן להביס את מייקל פוט בבחירות לתפקיד גזבר המפלגה.
עד מהרה נקלעה הכלכלה שוב לאנדרלמוסיה והמשבר במזרח התיכון בין ישראל למצרים גרם לעליית מחירי הנפט. יותר מכך, באמצע ספטמבר הוכתה הכלכלה מכה קשה כאשר התחוללה שביתה בנמלים במשך שמונה שבועות. ההסתערות על המטבע הבריטי החלה עם פרוץ מלחמת ששת הימים ועם סגירת תעלת סואץ, במקביל לשביתת הנמלים, הגיע הגירעון במאזן התשלומים לרמה קריטית. בדוח של השוק האירופי המשותף נאמר שהליש"ט לא תוכל להתייצב והוצע שוב לבצע פיחות בערכו. וילסון וקלהאן סירבו להצעה לקבל מענק חירום מקרן המטבע הבינלאומית בשל כמה תנאים שנלוו אליה. ב-15 בנובמבר התקבלה ההחלטה ההיסטורית על פיחות בשיעור של 14.3%. מצב זה גרם למחלוקת פוליטית גדולה באותה עת, כפי שציין דניס הילי באוטוביוגרפיה שלו:
לפני ביצוע הפיחות הוציא קלהאן הודעה לתקשורת ולבית הנבחרים שהוא לא יבצע פיחות, דבר שמאוחר יותר הוא אמר שהכרחי לעשותו כדי לשמור על האמון בלירה שטרלינג וכדי להימנע מיצירת עצבנות בשווקים הפיננסיים. קלהאן הציע מייד שהוא יגיש את התפטרותו כשר האוצר וההתנגדות הפוליטית אילצה את וילסון לקבל אותה. וילסון מינה את מי שכיהן עד אז שר הפנים, רוי ג'נקינס, כשר האוצר וקלהאן מונה ב-30 בנובמבר 1967 לתפקיד שר הפנים במקומו.
שר הפנים.
תקופת כהונתו של קלהאן כשר הפנים עמדה בסימן העימות המתגבר בצפון אירלנד והוא כשר הפנים היה זה שקיבל את ההחלטה לשגר את כוחות הצבא הבריטי לשם לאור בקשתה של הממשלה היוניוניסטית של צפון אירלנד.
קלהאן היה גם האחראי על חקיקתו של חוק ההגירה מחבר העמים שנחקק ב-1968, חקיקה שנויה במחלוקת שנבעה מטענות של השמרנים ששטף של אסיאתיים תושבי קניה יציף עד מהרה את בריטניה. החוק עבר תוך שבוע בבית הנבחרים והגדיר אמצעי בקרה על מחזיקי דרכונים בריטיים שלא היה להם "קשר משמעותי" עם בריטניה. בספר זיכרונותיו, "זמן והזדמנות" (Time and Chance), כתב קלהאן שהגשת הצעת החוק הזאת הייתה משימה קשה אך הוא לא מתחרט עליה. הוא טען שהאסיאתיים "גילו פרצה" ואמר לכתב ה-BBC: "דעת הקהל במדינה זו סערה לחלוטין והשיקול שלי היה כיצד נוכל לשמור על הסדר באופן ראוי ובה בעת לעשות צדק עם האנשים הללו – היה עלי לאזן בין שני השיקולים הללו". אחד מחברי הפרלמנט שהתנגדו לחוק, איאן גילמור, טען שהחוק "חוקק כדי להשאיר את השחורים בחוץ. אם היה מדובר ב-5,000 מתיישבים לבנים שהיו אמורים להיכנס לבריטניה, העיתונות והפוליטיקאים, כולל קלהאן עצמו, שגרמו לכל המהומה, היו די מרוצים".
חוק משמעותי נוסף שנחקק באותה שנה היה חוק היחסים הגזעיים שעל פיו נאסר להפלות על רקע של מוצא אתני כל אדם שמבקש עבודה, דיור או חינוך. החוק הרחיב באותה עת את סמכויותיה של מועצת היחסים הגזעיים והטיל עליה לטפל בתלונות על אפליה או יחס בלתי הוגן. הוא גם מיסד גוף מפקח חדש, הוועדה ליחסים קהילתיים, שתפקידה היה לקדם "יחסי קהילה הרמוניים". כאשר הציג קלהאן את הצעת החוק בפני הפרלמנט, אמר קלהאן: "לעיתים נדירות התמודד הבית עם סוגיה עם משמעות חברתית כה גבוהה עבור ארצנו ועבור ילדינו".