כחבר המפלגה הוויגית, כמו אביו, תחילת דרכו הפוליטית של הרלן הייתה מוקדמת, כאשר כבר ב-1851, הוצעה לו משרת השליש הראשי של המדינה על ידי מושל קנטקי ג'ון הלם. בתוקף תפקידו זה הוא היה למעשה המפקד של המיליציה של המדינה ועל כוחות המשמר הלאומי בתחומיה. הוא שימש בתפקיד במשך שמונה שנים, וכך נוכחותו במדינה בלטה והוא הכיר רבים מקרב הדמויות הפוליטיות המובילות בה. עם פירוק המפלגה הוויגית בראשית שנות ה-50, העביר הרלן את שיוכו הפוליטי למפלגת שאינם יודעים דבר, זאת על אף אי הנוחות שהוא חש כלפי התנגדותם לקתולים. הפופולריות האישית של הרלן בקנטקי גרמה להישרדותו הפוליטית כאשר מפלגה זו שקעה בסוף העשור, וב-1858 הוא ניצח בבחירות לתפקיד השופט המחוזי של מחוז פרנקלין . במסגרת מפלגה זו הוא התמודד ללא הצלחה נגד הדמוקרט ויליאם סימס על מושב בית הנבחרים של ארצות הברית מטעם המחוז השמיני של קנטקי.
במשך כל אותו עשור, מתח הרלן ביקורת הן על מתנגדי העבדות והן על תומכיה. כמו רבים מהדרומיים מתנגדי הפרישה, הוא תמך במועמדותם של ג'ון בל ואדוארד אברט מטעם מפלגת האיחוד החוקתי בבחירות לנשיאות של 1860.. הרלן הסכים להיות אלקטור עבור בל, ונשא נאומים בשם מפלגתו בכל רחבי קנטקי במהלך מסע הבחירות. במשבר הפרישה שהתחולל בעקבות בחירתו של הרפובליקני אברהם לינקולן, שאף הרלן למנוע את פרישתה של קנטקי. הוא כתב כמה מאמרי מערכת בעד האיחוד, ייצג את האיחוד בבית המשפט של המדינה והצטרף למיליציה שנודעה כ"הזואבים של קריטנדן".
לאחר שבית המחוקקים של קנטקי הצביע בעד הרחקת כל כוחות הקונפדרציה מהמדינה, גייס הרלן פלוגה ששירתה במסגרת רגימנט הרגלים העשירי של קנטקי. הוא לחם בזירה המערבית עד למותו של אביו בפברואר 1863 אז הוא התפטר ממינויו כקולונל ושב לפרנקפורט כדי לסייע למשפחתו.
מנהיג במפלגה.
שבועות ספורים לאחר פרישתו מהצבא, הוצגה מועמדותו של הרלן על ידי מפלגת האיחוד לתפקיד התובע הכללי של קנטקי. הוא התמודד במסע הבחירות על בסיס מצע להגשת תביעות שנגעו למלחמה באופן נמרץ, וניצח בהן בהפרש משמעותי. כתובע הכללי של קנטקי, הוציא הרלן חוות דעת משפטיות וייצג את המדינה בכמה תיקים בבתי המשפט. עם זאת, הפוליטיקה המפלגתית מילאה את רוב זמנו. אף על פי שהיה עדיין מחויב לאיחוד, הוא התנגד להצהרת האמנציפציה של לינקולן ותמך במועמד הדמוקרטי ג'ורג' מקללן בבחירות לנשיאות של 1864. הרלן התנגד גם לאשרור התיקון ה-13 לחוקה, ומתח עליו ביקורת כ"התערבות ישירה, בחלקן של המדינות, בעניינים המקומיים של מדינות אחרות".
ב-1865, לאחר סיום המלחמה, סירב הרלן בתחילה להצטרף הן למפלגה הדמוקרטית, שאותה הוא ראה כמפלגה שקיבלה יתר על המידה את המורדים לשעבר, והן למפלגה הרפובליקנית, שלמדיניות השיקום שלה הוא התנגד. הוא ביקש להתמודד לבחירה מחדש ב-1867 כנציג מפלגה שלישית, אך הפסיד בבחירות על רקע ניצחון סוחף של הדמוקרטים במדינה. לאחר תבוסתו, הוא הצטרף למפלגה הרפובליקנית, ובבחירות לנשיאות של 1868 הוא תמך במועמדותו של יוליסס סימפסון גרנט. הוא עבר ללואיוויל, ופתח משרד עורכי דין מצליח בשותפות עם ג'ון ניומן, שופט לשעבר, שכמו הרלן, היה תומך האיחוד שעבר לשורות הרפובליקנים. ב-1870 צירפו השניים לזמן קצר שותף שלישי, בנג'מין בריסטו, אך מאוחר יותר באותה שנה מינה הנשיא גרנט את בריסטו כפרקליט המדינה של ארצות הברית.
במקביל להרחבת עסקיו המשפטיים, היה הרלן פעיל בבניית וארגון המפלגה הרפובליקנית בקנטקי. ב-1871 הוא היה מועמד הרפובליקנים לתפקיד מושל קנטקי. אף על פי שהוא זכה רק במקום השני בבחירות בהפרש גדול מול המושל הדמוקרטי המכהן פרסטון לסלי, במהלך מסע הבחירות הוא ייצב את עצמו כמנהיג המפלגה הרפובליקנית במדינה. השקפותיו של הרלן על השיקום השתנו בראשית שנות ה-70 והוא החל לתמוך בצעדי השיקום כמו חוק האכיפה של 1870 , אם כי הוא עדיין התנגד לחוק זכויות האזרח של 1875, שבו הוא ראה כצעד מרחיק לכת יתר על המידה של הממשלה הפדרלית. באי רצון הוא קיבל את מועמדות המפלגה לתפקיד המושל ב-1875, ושוב נוצח בהפרש גדול, הפעם לדמוקרט ג'יימס מק'קרירי. בשנה שלאחר מכן היה הרלן פעיל בקידום מועמדותו לנשיאות של בריסטו בוועידה הארצית של המפלגה, בשאיפה להציב את בריסטו כמועמד בעל סיכויים טובים יותר מול המועמד המוביל ג'יימס בליין. כאשר עלה שמו של רתרפורד הייז כמועמד פשרה, העביר הרלן את קולותיהם של הנציגים שסרו למרותו ובסופו של דבר היה פעיל במערכת הבחירות של הייז בבחירות לנשיאות של 1876.
שופט בבית המשפט העליון של ארצות הברית.
מינויו.
אף על פי שהוא ראה את עצמו כמועמד מתאים לכמה תפקידים בממשל החדש, במיוחד התובע הכללי, התפקיד היחיד שהוצע בתחילה להרלן היה חברות בוועדה שנשלחה ללואיזיאנה כדי ליישב את המחלוקת בנוגע לבחירות שם. עם זאת, בינואר 1877 התפטר השופט העליון דייוויד דייוויס בשל בחירתו לסנאט של ארצות הברית. בבקשו למנות דרומי כשופט בבית המשפט העליון של ארצות הברית על רקע האווירה הקשה של הבחירות השנויות במחלוקת לנשיאות, הסכים הייז למנות את הרלן. אף על פי שמינויו של הרלן עורר ביקורת בקרב "סיעת האיתנים" של המפלגה הרפובליקנית, הוא אושר פה אחד על ידי הסנאט ב-29 בנובמבר 1877.
כהונתו.
באופן כללי נהנה הרלן מתקופת כהונתו על כס השיפוט, והוא כיהן עד למותו ב-1911. כבר מתחילת כהונתו הוא יצר מערכת יחסים טובה עם עמיתיו השופטים והיה ידיד קרוב של כמה מהם. אף על פי שלעיתים קרובות הוא חלק על דעותיהם של שאר השופטים, בדרך כלל הוא היה מסוגל להפריד בין חילוקי הדעות בסוגיות משפטיות לבין מערכות היחסים האישיות. במהלך תקופת כהונתו הוא היה טרוד ללא הרף בבעיות כספיות, במיוחד כאשר הוא החל לממן את לימודיוהם של שלושת בניו בקולג'. שקיעתו בחובות הייתה בעיה תמידית מבחינתו, ובראשית שנות ה-80 הוא שקל להתפטר מבית המשפט ולשוב לעריכת דין במגזר הפרטי. בסופו של דבר הוא החליט להישאר בבית המשפט, אך השלים את הכנסתו בהוראת משפט חוקתי בבית הספר למשפטים קולומביה, שלימים היה בית הספר למשפטים של אוניברסיטת ג'ורג' וושינגטון.
בתקופה בה החל הרלן את כהונתו, בית המשפט ניצב בפני עומס עבודה, שנבע בעיקר מתיקים אזרחיים כלכליים, בהשוואה למעט מאוד פסקי דין בסוגיות חוקתיות. השופטים גם שפטו בסבבי רכיבה בבתי המשפט הפדרליים המחוזיים. אף על פי שמשימות שיפוט אלו היו קשורות לאזור שממנו הגיע השופט, בשל מעמדו הזוטר, הוצב הרלן לסבב השיפוטי השביעי, שמרכזו היה בשיקגו. בסבב זה כיהן הרלן עד 1896 ואז הוא הועבר לסבב השיפוטי השישי, שחלש על אזורים שהיו קרובים יותר לקנטקי. הוא מונה לתפקיד בשל מותו של השופט הקודם בסבב זה, האוול ג'קסון. הרלן היה לשופט בכיר בבית המשפט לאחר פרישתו של סטיבן פילד ב-1897 ולאחר מותו של מלוויל פולר ב-1910 הוא שימש כנשיא בית המשפט העליון בפועל.
פסיקותיו.
במהלך תקופת כהונתו של הרלן על כס השיפוט, עסקו פסקי הדין המרכזיים של בית המשפט העליון בשאלות שעלו מתהליך התיעוש ומתיקוני השיקום (התיקון ה-13, ה-14 וה-15 לחוקת ארצות הברית). החל משנות ה-80, החל בהדרגה בית המשפט העליון לאמץ את השקפת הלסה פר, תוך שהוא פסל תקנות כלכליות ובה בעת אפשר למדינות לקצץ בזכויותיהם של האפרו-אמריקאים. בניגוד לרבים מעמיתיו, הצביע הרלן לעיתים קרובות בעד אישור התקנות הפדרליות והגן על זכויות האזרח של האפרו-אמריקאים. חוות הדעת השיפוטיות שלו הושפעו מאמונתו לאורך כל ימי חייו בממשלה לאומית חזקה, אהדתו לשכבות החלשות, ומהשקפותיו שתיקוני השיקום שינו באופן יסודי את מערכת היחסים בין הממשלה הפדרלית ובין ממשלות המדינות. אף על פי שהרלן האמין שלבית המשפט הייתה הסמכות לערוך ביקורת שיפוטית על צעדי המדינות וצעדי הממשלה הפדרלית במגוון רחב של נושאים, הוא נטה להתנגד לאקטיביזם שיפוטי ורחש כבוד למחוקקים.
התיקים המוקדמים (1896-1877).
את חוק זכויות האזרח של 1875 העביר הקונגרס בשלהי תקופת השיקום, ובו הוא התווה את ההפרדה הגזעית במרחב הציבורי, כמו למשל בשירות הרכבות. בית המשפט העליון לא דן בחוק זה עד 1883, כאשר הוא פסל את החוק ב"תיקי זכויות האזרח" . בחוות דעת הרוב שכתב בתיק זה, קבע השופט ג'וזף בראדלי שהתיקון ה-13 "פשוט ביטל את העבדות", ושהתיקון ה-14 לא הסמיך את הקונגרס לאסור על אפליה גזעית במרחב הפרטי. היחידי שכתב חוות דעת מיעוט בתיק זה היה הרלן, שהתנגד לקביעה של בראדלי בתוקף, וטען ששופטי הרוב חתרו תחת תיקוני השיקום: "תוכנם ורוחם של התיקונים האחרונים לחוקה הוקרבו על ידי ביקורת מילולית שנונה ומתוחכמת". הרלן טען שהתיקון ה-14 העניק לקונגרס את הסמכות לפקח על מוסדות הציבור, והמשיך וטען שהתיקון ה-13 העניק לקונגרס את הסמכות "לעקור" את שרידי העבדות, כמו ההגבלה על חופש התנועה.
הרלן הצטרף לדעת הרוב בהחלטה שהתקבלה פה אחד בפסק הדין "פייס נגד אלבמה" מ-1883, שבו נקבע שהחוקים נגד נישואי תערובת תאמו לחוקה. הרלן היה השופט העליון הראשון שטען שהתיקון ה-14 הגשים את מגילת הזכויות (נתן ערבויות לזכויות שיושמו במדינות עצמן), בפסק הדין "הורטדו נגד קליפורניה" מ-1884.