בין השנים 1870–1873 היה הולמס עורך בכתב העת האמריקאי למשפטים. הוא ערך את המהדורה ה-12 של הסקר הקלאסי על פרשנויות למשפט האמריקאי (1873), מאת הפרופסור ג'יימס קנט (1763–1847). הוא גם הרצה בהרווארד מספר פעמים בנושא משפטים. בתקופה עמוסה זו עסק גם בחיזורים. מאז ומעולם היה רודף שמלות, הוא ניהל ידידות ארוכה עם פאני באדיץ' דיקסוול, בתו של מנהל בית הספר שלו. היא חיכתה בסבלנות לשובו מהשירות במהלך המלחמה, לסיום לימודי המשפטים שלו, לשיבתו ממסעותיו מעבר לים ולהסדר עבודתו ומשכורתו היציבה. הולמס ודיקסוול התחתנו לבסוף ב-17 ביוני 1872. הנישואים היו מאושרים וארוכים, אך לזוג לא היו ילדים.
שופט העליון של מסצ'וסטס.
בשנת 1882 מונה הולמס לפרופסור בבית הספר למשפטים בהרווארד ולאחר מכן נטש את העיסוק הפעיל במשפטים. עם זאת, הוא קיבל את תפקיד הפרופסורה שלו מתוך הבנה מפורשת כי עליו להיות חופשי לקבל מינוי לספסל בית המשפט העליון של מסצ'וסטס אם תעלה ההזדמנות, וב-15 בדצמבר 1882 אכן מונה לשופט עמית בבית משפט זה על ידי המושל ג'ון לונג במקום השופט אוטיס לורד, אשר פרש מתפקידו. במשך כמעט עשרים שנה שימש הולמס כשופט בית משפט זה, והפך לנשיא בית המשפט העליון של מסצ'וסטס ב-2 באוגוסט 1899, עם מותו של הנשיא וולברידג' פילד בעת כהונתו. שירותו בבית משפט זה הסתיים רק עם מינויו בשנת 1902 לשופט בית המשפט העליון של ארצות הברית.
הולמס הביא לעבודתו השיפוטית את תורת הבנת החוק שלו, אשר יושמה בתהליכים מדויקים שייצגו את דרכו השיפוטית הדייקנית. הוא הכיר היטב את מקורות החוק, הוא זיהה כי התוצאה של ללכת באופן עיוור אחר תקדימים עשויה להוביל לכישלון ולכדי בלבול, אפילו מהבחינה ההגיונית, כאשר הסיבה מאחורי התקדים המקורי כבר אינה תקפה לזמנו. תפיסתו של החוק הייתה כמו דבר חי וצומח, - חי, כי בתוכו של החוק ; צומחים, על ידי צעדים דקים וקטנים, מונחים על ידי הכוחות החברתיים של הקהילה. אחת האמירות האהובות עליו הייתה שכל הבחנה היא עניין של מידה ושמחלוקות ראויות להיות חריפות יותר ביחס לגישה שבה הן נשאלו.
בחורף 1883–1884 עברו הזוג מרחוב ביקון 10 בבוסטון לרבעים מפוארים יותר, בית ברחוב הערמונים 10. בהמשך שנת 1884 מת אחיו אדוארד ג'קסון הולמס. אמו נפטרה בשנת 1888, ובשנת 1889 שבו לרחוב ביקון להתגורר ביחד עם אביו הקשיש בכדי לטפל בו. השופט הפך לבעל הבית עם מות אביו בשנת 1894 והזוג התגוררו בו עד שעברו לוושינגטון די. סי.. חופשת הקיץ במטאפואזט הגיעה לסיומה הפתאומי בסוף שנות ה-80 של המאה ה-19 כאשר אש מחצרו של השכן התפשטה ושרפה את בית הקיץ של הזוג הולמס עד היסוד. הולמס העביר אז את משכנו הקיצי לבוורלי פארמס, שם הייתה אחוזה משפחתית אשר הוקמה כבר בידי אביו. באחוזה זאת בילה הזוג את חופשות הקיץ. הוא הלך על החוף ונסע לאורך החוף. במרווחי זמן הקיצים שלו היו מגוונים בנסיעות לאירופה.
שופט בית המשפט העליון הפדרלי.
המינוי.
ב-11 באוגוסט 1902, לאחר ששופט העליון הוראס גריי פרש מתפקידו עקב קשייו הבריאותיים, מינה נשיא ארצות הברית, תאודור רוזוולט, את הולמס להחליף אותו בבית המשפט העליון, אשר הונהג באותה העת בידי הנשיא מלוויל פולר. מינויו של הולמס נעשה לאחר שרוזוולט קיבל הצעה למנות אותו מהסנאטור הנרי קבוט לודג' אשר ממסצ'וסטס. מינויו של הולמס פגש בהתנגדות מצידו של הסנאטור השני ממסצ'וסטס, ג'ורג' פריסבי הואר. פסק הדין בעניין סיפוח פוארטו ריקו הגיע בדיוק באותה העת לבית המשפט העליון דרך ערעור. הואר, מתנגד נחרץ לאימפריאליזם, עמד מול לודג' ורוזוולט, שתמכו באימפריאליזם וציפו שהולמס יתמוך בכך גם כן בבית המשפט העליון. ב-2 בדצמבר הגיש רוזוולט את הצעת המינוי בפני הסנאט האמריקאי וב-4 בדצמבר אישר הסנאט את המינוי והולמס החל בכהונתו עוד באותו היום.
פסק הדין הראשון שבו היה הולמס מעורב נגע למנהל האמריקאי בפוארטו ריקו והולמס אכן תמך בהסדר הממשל האמריקאי על מושבות האימפריה הספרדית שסופחו מידיה לאחר מלחמת ארצות הברית–ספרד. בהמשך הולמס יצא בפסק דין אחד נגד מדיניותו של רוזוולט, כאשר בפסק דין חברת המשמורת הצפונית נגד ארצות הברית ("Northern Securities Co. v. United States") היה חלק מדעת המיעוט שהתנגדה להגבלים עסקיים.
כהונתו.
הולמס לא התפטר מבית המשפט העליון של מסצ'וסטס עד שהסנאט קיבל את המינוי שלו ואישר אותו רשמית בתחילת דצמבר. בגיל שישים ואחת הולמס ורעייתו עברו לוושינגטון כדי להתחיל חיים חדשים. בפסק דין לוכנר נגד ניו יורק, במהלכו בית המשפט העליון ביטל חוק של מדינת ניו יורק שקבע שעות עבודה מקסימליות לאופים. לפי דעת הרוב נגד החוק את חוקת ארצות הברית. הולמס הסתייג מהחלטה זו ובדעת המיעוט כתב כי:
הולמס כיהן בבית המשפט העליון עד 1932. באותה תקופה ארוכה של שנים בבית המשפט העליון זכה להכרה כאחד המשפטנים הבולטים ביותר בתקופתו - לדעת רבים ממקורביו. לעיתים קרובות הוא נקרא המבדל הגדול בגלל זוהר דעות המיעוט שלו, אך הביטוי נותן דגש שלילי שווא, וחדירתו ומקוריותו נתפסים כמלאים בדעות שבהן הביע או הסכים בהשקפת הרוב של בית המשפט כמו באלה בהם הוא התנגד. הולמס האמין כי עריכת חוקים היא עניינם של גופים מחוקקים, לא של בתי משפט, וכי בתוך גבולות חוקתיים לאנשים יש זכות לכל חוקים שיבחרו, טוב או רע, באמצעות נבחריהם.
הוא קבע את הרעיון של "סכנה ברורה ונוכחת" כבסיס היחיד לצמצום חופש הביטוי, והדגים זאת בדוגמה הביתית "אף ההגנה המחמירה ביותר על חופש הביטוי לא תגן על אדם בצעקות אש בתיאטרון וגרימת בהלה." היה זה במהלך פסק דין ארצות הברית נגד יוג'ין דבס, אשר נעצר ב-1918 בעוון התנגדותו למעורבותה של ארצות הברית במלחמת העולם הראשונה, אשר נקבעה ללא חוקית לפי חוק הריגול שקבע ממשל וודרו וילסון ב-1917. במקביל לשמע פסק הדין של דבס שמע בית המשפט העליון את פסק הדין ארצות הברית נגד שהנק, שנגע גם הוא לערעור קביעת חוק הריגול של 1917. כלל תשעת חברי בית המשפט הרכיבו יחדיו דעת רוב אחידה ב-10 במרץ 1919 אשר קבעה שדבס אכן נאם בנאומיו הפוליטיים נגד מאמץ המלחמה של המדינה. בפסק הדין כתב הולמס את דעת הרוב נגד דבס לפיה רוב נאומיו הפוליטיים של דבס נגעו לחיזוק המפלגה הסוציאליסטית, אך בין לבין גם קידמו אנשים להתנגד לגיוס למלחמה.
פרישתו ושנותיו האחרונות.
הולמס פרש מבית המשפט העליון ב-1932, בגיל 90, השופט המבוגר ביותר בבית משפט זה מעולם. את מקומו בספסל השופטים החליף בנג'מין קרדוזו. בתקופת כהונתו של הולמס בבית המשפט העליון פעל תחת נשיאי העליון מלוויל פולר, אדוארד דאגלס וייט, ויליאם הווארד טאפט וצ'ארלס אוונס יוז. הולמס, אדם שכל חייו התמסר לעבודה, נהנה בנוסף מעיסוקו המשפטי גם מחקר פילוסופי ומספרות, והושפע מכתביו של פרנסואה רבלה. זמן קצר לאחר שנבחר לנשיאות, נסע פרנקלין דלאנו רוזוולט לביתו של הולמס לבקרו. בהגעתו מצא רוזוולט את הולמס קורא בכתביו של אפלטון. "מדוע אתה קורא את אפלטון, אדוני השופט?" שאל רוזוולט. "כדי לשפר את דעתי, אדוני הנשיא," השיב הולמס בן ה-92. הולמס זכה באהבה ובהערצה של דורות רבים של עורכי דין ושופטים בקריירה הארוכה שלו. כאשר התפטר מבית המשפט העליון, "אחיו", כפי שפנה תמיד לחבריו השופטים, כתבו לו מכתב שנחתם על ידי כולם, ואמר בחלקו:
גישתו המשפטית.
פסיקתו של הולמס התבלטה לא רק בלשונה הברורה ובהגיונה הסדור, אלא גם באופיה המודרני. הולמס פיתח גישה, שכיום נחשבת למקובלת, המגבילה הן את זכות הקניין והן את חופש החוזים למול זכות המדינה לחוקק כרצונה. במיוחד זכורה בהקשר זה תמיכתו בחוקים המסייעים למימושה של זכות ההתאגדות של עובדים, ובזכות המדינות לחוקק חקיקה בתחום דיני העבודה, דבר שהותירו פעמים הרבה בדעת מיעוט. מבין מקרים אלו נודע במיוחד פסק-הדין בפרשת לוכנר, בו נפסק כי אסור למדינת ניו-יורק להגביל את שעות העבודה של אופים, שכן הדבר פוגע בזכות החוקתית של חופש החוזים. פסק דין זה נתפס כיום לאחת מנקודות השפל של המשפט האמריקאי, בעוד שדעת המיעוט שכתב הולמס באותו מקרה, שבעיקרה מאשימה את שופטי הרוב בכך שכפו את אמונתם הפרטית הכלכלית על מדינת ניו-יורק, הפכה עם השנים למפורסמת ומצוטטת במיוחד.
בתחום האקדמי, מקובל לראות את ראשית פיתוח הגישה הריאליסטית והפרגמאטית, שהולמס נחשב כאמור לאביה. הולמס ידוע במיוחד בעבור שתי סדרות הרצאות אשר נהפכו לאחר מכן למאמרים.
בראשונה מביניהן, "המשפט המקובל", הולמס תקף את הפורמליזם במשפט, וטען כי: "חייו של המשפט אינם היגיון אלא ניסיון":
הולמס ראה את החוק כאמצעי של מדיניות, כלי אשר החברה מווסתת באמצעותו את שמתרחש בה.
בהרצאה שנתן הולמס באוניברסיטת הרווארד בשנת 1897, שפורסמה בהמשך תחת הכותרת The Path of The Law (דרכו של המשפט), שם האדם מוגדר כיצור מתנסה ופותר בעיות. את המשפטנים הגדיר הולמס ככאלו שיודעים לצפות את הסנקציה המשפטית ותו לא. ההנחות של נורמות, זכויות וכיוצא בזה לא היו חשובות במיוחד בעיני הולמס, שכן בעיניו יש לכוון את המשפט לאדם הרע. האדם הרע, כך טען הולמס, אינו מתעניין בנורמות חברתיות או מוסריות אלא במה שיקרה לו אם יעשה פעולה מסוימת. שאלתו היחידה היא מה תעשה לו מערכת המשפט אם ירצח את חברו, או יפר חוזה, או יהיה מעורב בתאונת דרכים. עורך-הדין, המשיך הולמס, הוא אדם שיודע לצפות, בצורה טובה, מה תעשה מערכת המשפט לאדם זה.
הולמס תקף את ההסתמכות, המוגזמת לטעמו, של המערכת המשפטית על שיקולים היסטוריים וביקש לפתח את המשפט כמדע שמתמודד עם התנסות ולא כמשפט שמתמודד עם שאלות.