ב-10 בינואר 1955 מינה הנשיא אייזנהאור את הרלן כשופט בבית המשפט העליון של ארצות הברית במקומו של השופט רוברט ה. ג'קסון שנפטר באוקטובר הקודם. ב-16 במרץ אושר מינויו על ידי הסנאט. על אף פרישתו מבית המשפט לערעורים עקב מינויו לבית המשפט העליון, הוא המשיך לכהן כשופט האחראי על בית משפט זה במשך כל תקופת כהונתו בבית המשפט העליון והשתתף בפעילויותיו.
מינויו של הרלן לבית המשפט העליון הגיע זמן קצר לאחר שבית המשפט נתן את החלטתו שהייתה נקודת ציון בפסק דין בראון נגד מועצת החינוך, שבה נקבע שההפרדה הגזעית בבתי הספר נוגדת את החוקה. ג'יימס איסטלנד, יושב ראש ועדת המשפט של הסנאט וכמה סנאטורים דרומיים עיכבו את מינויו של הרלן, שכן הם האמינו (וצדקו באמונתם) שהוא יתמוך בהחלטה על ביטול ההפרדה הגזעית ובהחלטות בעד זכויות האזרח. שלא כמו בכל המינויים הקודמים לבית המשפט העליון, הרלן הופיע בפני ועדת המשפט לשימוע לפני אישור מינויו. מאז מינויו של הרלן כל מועמד לכהונת שיפוט בבית המשפט העליון עבר שימוע בפני ועדת המשפט. בסופו של דבר אושר מינויו של הרלן במליאת הסנאט ברוב של 71 תומכים מול 11 מתנגדים. מתוך 11 הסנאטורים שהצביעו נגד מינויו, תשעה היו מהדרום. בבית המשפט לערעורים בסבב השני הוא הוחלף על ידי ג'וזף אדוארד לאמברד.
בבית המשפט העליון הצביע הרלן לעיתים קרובות יחד עם השופט פליקס פרנקפורטר, שהיה המנטור הראשי שלו בבית המשפט. כמה חוקרי משפט כינו אותו "פרנקפורטר ללא חרדל", אף על פי שאחרים הכירו בתרומותיו להתפתחות החשיבה המשפטית. הרלן היה יריב אידיאלוגי, אך ידיד אישי קרוב, של השופט הוגו בלאק, שאיתו היו לו חילוקי דעות במגוון נושאים, כולל יישום מגילת הזכויות בחוקי המדינות, סעיף ההליך הראוי, וסעיף ההגנה השווה שבתיקון ה-14 לחוקה.
להרלן היו יחסים קרובים מאוד עם העוזרים המשפטיים שעבדו תחתיו, והוא המשיך להיות איתם בקשר גם לאחר שסיימו את עבודתם בלשכתו והתקדמו בקריירות המשפטיות שלהם. הוא יעץ להם להמשיך בקריירות שלהם, קיים איתם מפגשים קבוצתיים שנתיים, ותלה תמונות של ילדיהם על קירות לשכתו. על בית המשפט בנשיאותו של ארל וורן הוא אמר להם, "אנחנו חייבים להבין שזה רק זמני", שבית המשפט הלך שולל, אך עד מהרה יתקן את עצמו.
הרלן זכור על ידי אנשים שעבדו עמו בשל סובלנותו ואדיבותו. הוא התייחס לעמיתיו השופטים, לעובדי בית המשפט ולפרקליטים שהופיעו בפניו בכבוד ובהתחשבות. בעוד שהוא התנגד לעיתים קרובות בתקיפות למסקנות וטיעונים של עמיתיו, הוא מעולם לא מתח ביקורת אישית על אף אחד מהם, ומעולם לא השמיע מילים מזלזלות בנוגע למניעים וליכולות של אף אחד מהם. הרלן לא הביע את רגשותיו ולא הביע תלונות על שום דבר. הוא היה אחד המנהיגים האינטלקטואלים של בית המשפט בנשיאותו של וורן. מומחה המשפט מאוניברסיטת הרווארד פול פרוינד, אמר עליו:
משנתו השיפוטית ופסיקותיו.
משנתו השיפוטית של הרלן התאפיינה לעיתים קרובות כשמרנית. הוא ייחס לתקדימים חשיבות רבה יותר מרבים מעמיתיו לכס השיפוט. שלא כמו בלאק, הוא נמנע מהגישה הטקסטואלית הקפדנית. בעוד שהוא האמין שהכוונה המקורית של מנסחי החוקה צריכה להיות בעלת חשיבות מרכזית בפסיקה החוקתית, הוא גם טען שביטויים רחבים כמו "חירות" בסעיף ההליך הראוי צריכים לקבל פירוש התפתחותי.
הרלן האמין שרוב הבעיות צריכות להיפתר באמצעות תהליך פוליטי, ושלרשות השופטת צריך להיות תפקיד מוגבל. בחוות דעת המיעוט שלו בפסק הדין "ריינולדס נגד סימס" , הוא כתב:
סעיף ההגנה השווה.
בית המשפט העליון קיבל החלטות בכמה תיקים חשובים שנגעו לסעיף ההגנה השווה שבהתיקון ה-14 לחוקה בשנותיו הראשונות של הרלן על כס השיפוט. בדרך כלל הצביע הרלן לטובת זכויות האזרח, באופן דומה לסבו, ג'ון מרשל הרלן, שהיה היחידי שכתב חוות דעת מיעוט בפסק דין פלסי נגד פרגוסון הידוע לשמצה.
בפסק הדין "קופר נגד ארון" הצביע הרלן עם הרוב, שכפה על פקידי ממשל בארקנסו לבטל את ההפרדה הגזעית בבתי הספר הציבוריים. הוא הצטרף גם לדעת הרוב בפסק הדין "גומיליון נגד לייטפוט" , שקבע שהמדינות לא יכולות להתוות מחדש גבולות של מחוזות בחירה כדי לפגוע בכוחם האלקטורלי של האפרו-אמריקאים. יותר מכך, הוא הצטרף להחלטה שהתקבלה פה אחד בפסק דין לאבינג נגד וירג'יניה, שפסל את החוקים נגד נישואים בין-גזעיים.
סעיף ההליך הראוי.
הרלן קידם פירוש רחב של סעיף ההליך הראוי של התיקון ה-14. הוא תמך בדוקטרינה שסעיף זה לא רק נתן ערבויות הליכיות, אלא גם הגן על טווח רחב של זכויות יסוד, כולל אלו שלא הוכרו במפורש בנוסח החוקה. על כל פנים, כפי שציין השופט ביירון וייט בחוות דעת המיעוט שלו בפסק הדין "מור נגד מזרח קליבלנד" , "אף אחד לא היה רגיש כמו השופט הרלן לכל רמז שגישתו לסעיף ההליך הראוי תגרום לשופטים 'לשוטט בשדה החוקתי'". על פי גישתו של הרלן, השופטים צריכים להיות מוגבלים בהליך הראוי "מתוך התחשבות בהיסטוריה, הכרה מוצקה בערכים הבסיסיים העומדים ביסודות החברה שלו, והערכה נבונה לתפקידיהם של הגישה הפדרליסטית ועקרונות הפרדת הרשויות בשמירה על החירויות האמריקאיות".
הרלן קבע את הפירוש שלו בחוות דעת המיעוט שלו בפסק הדין "פו נגד אולמן" שצוטטה פעמים רבות, ושבה נפסל החוק של קונטיקט שאסר את השימוש באמצעי מניעה. בית המשפט העליון דחה את העתירה על בסיס שיקולים טכניים, וקבע שהמקרה לא היה בשל לדיון בבית המשפט. הרלן חלק על דעת הרוב שפסלה את העתירה, וטען שבית המשפט צריך היה להתחשב בצדדים האיכותיים שלה. לאחר מכן, הוא ציין את תמיכתו במבט רחב של התייחסות סעיף ההליך הראוי למושג החירות. הוא כתב, "חירות זו היא לא סדרה של נקודות נפרדות; חופש הדיבור, חופש העיתונות, חופש הדת, הזכות לשאת נשק, החופש מחיפוש ותפישה בלתי הגיוניים, ועוד. היא רצף הגיוני שבמובן הרחב כוללת חופש מכל צעד שרירותי וחסר תכלית". הוא טען שסעיף ההליך הראוי כולל בתוכו את הזכות לפרטיות, והגיע למסקנה שאיסור על השימוש באמצעי מניעה מפר זכות זו.
אותו עקרון בא לידי ביטוי בפסק הדין "גריזוולד נגד קונטיקט" . הפעם הסכים בית המשפט העליון לדון בתיק, והגיע למסקנה שהחוק הפר את החוקה. עם זאת, ההחלטה התבססה לא על סעיף ההליך הראוי, אלא על הטענה שהזכות לפרטיות נמצאת ב"שוליים" של הסעיפים אחרים של מגילת הזכויות. הרלן כתב חוות דעת משלימה בפסק דין זה, אך מתח ביקורת על בית המשפט על כך שנשען על מגילת הזכויות בהחלטתו. "סעיף ההליך הראוי של התיקון ה-14", הוא כתב, "עומד בזכות עצמו". בהמשך יאמץ בית המשפט העליון את גישתו של הרלן, שהסתמך על סעיף ההליך הראוי ולא על שולי הסעיפים של מגילת הזכויות בתיקים שהיו קשורים לזכות לפרטיות כמו פסק דין רו נגד וייד ופסק דין לורנס נגד טקסס.
הפירוש של הרלן לסעיף ההליך הראוי ספג ביקורת מהשופט בלאק, שדחה את הרעיון שהסעיף כלל מרכיב "עצמאי", בהתחשב בפירוש הרחב הלא מוצדק והרעוע מבחינה היסטורית. בית המשפט העליון הסכים עם הרלן, והמשיך ליישם את דוקטרינת ההליך הראוי במגוון רחב של תיקים.
שילוב מגילת הזכויות בחוקי המדינות.
הרלן התנגד באופן תקיף לתאוריה שהתיקון ה-14 לחוקה "שילב" את מגילת הזכויות, כלומר, הפך את מגילת הזכויות לישימה בחוקי המדינות. דעתו בעניין הייתה מנוגדת לזו של סבו, שתמך בשילוב מלא של מגילת הזכויות בחוקי המדינות. כאשר היא אושררה, הייתה מגילת הזכויות מוגבלת אך ורק לממשלה הפדרלית, כפי שפסק בית המשפט העליון ב-1833 בפסק הדין "ברון נגד בוליטמור" . חלק מהמשפטנים טענו שהתיקון ה-14 גרם להחלת מגילת הזכויות בשלמותה על חוקי המדינות. הרלן התנגד לדוקטרינה זו, שאותה הוא כינה "בלתי מבוססת מבחינה היסטורית" בחוות הדעת שלו בפסק הדין גריזוולד נגד קונטיקט.
תחת זאת, הרלן סבר שסעיף ההליך הראוי שבתיקון ה-14 הגן אך ורק על זכויות יסוד. כך, אם הערובה שמגילת הזכויות הייתה "יסודית" או "משתמעת בתפישה של חירות מוסדרת", הסכים הרלן שהיא חלה על המדינות בנוסף לממשלה הפדרלית. כך למשל, הרלן סבר שסעיף חופש הדיבור של התיקון הראשון לחוקה חל גם על חוקי המדינות. מנגד, הוא סבר שסעיף הזכות לאי-הפללה של התיקון החמישי לחוקה לא צריך להיות משולב בחוקי המדינות.
גישתו של הרלן הייתה דומה ברובה לאלו של השופטים בנג'מין קרדוזו ופליקס פרנקפורטר. היא ספגה ביקורת מהשופט בלאק, שתמך בתאוריית השילוב המלא. בלאק טען שהתהליך שבו זוהו כמה מסעיפי מגילת הזכויות כיותר "יסודיות" בהשוואה לאחרות היה שרירותי מיסודו, והיה תלוי בדעותיו האישיות של כל אחד מהשופטים.
בסופו של דבר אימץ בית המשפט העליון כמה מרכיבים מגישתו של הרלן, וקבע שרק כמה מסעיפי מגילת הזכויות יכולים להיות מיושמים בחוקי המדינות, דוקטרינה שנודעה כשילוב סלקטיבי. עם זאת, תחת נשיאותו של ארל וורן בשנות ה-60, יותר ויותר מסעיפי מגילת הזכויות הוגדרו כיסודיים מספיק כדי שישולבו בחוקי המדינות. מכאן, רוב סעיפי מגילת הזכויות שולבו בחוקי המדינות. היוצאים מן הכלל הם התיקון השלישי, סעיף חבר המושבעים הגדול של התיקון החמישי, התיקון השביעי, התיקון התשיעי והתיקון העשירי. כך, על אף שבית המשפט העליון הסכים באופן כללי עם ההיגיון שמאחורי דעתו של הרלן, התוצאה הסופית של תורתו המשפטית שונה מאוד ממה שהרלן חתר אליו.
התיקון הראשון.