לימודיו המשפטיים היחידיים של מרשל באותה העת כללו רק סדרת הרצאות של ג'ורג' וייט להן האזין בשנת 1780 בקולג' ויליאם ומארי. וייט היה מהתומכים המוקדמים של לימודי עריכת דין לפי ביקורת שיפוטית. באוגוסט 1780 מרשל קיבל רישיון פעילות משפטית רשמית ושב למחוז פאוקוויר. בשנת 1782 נבחר מרשל למועצת הצירים של וירג'יניה ובשנת 1784 נבחר לכהן לקדנציה שנייה. הוא הופיע בפני ועידות חוקתיות בבירה המדינית בריצ'מונד. בהמשך מרשל הקים מוסד לימודי משפטים בעיר והתיישב בה לאחר שהתחתן עם מרי ויליס אמבלר מרשל בינואר 1783. במשך 15 השנים הבאות הקריירה של מרשל סומנה בעליית המוניטין והחשיבות של משרדי עורכי הדין ברחבי וירג'יניה.
אף על פי שנכון לשנת 1787 לא השיג מרשל עמדה פוליטית רמה שהביאה אותו למושב הקונגרס הקונטיננטלי בפילדלפיה, מרשל היה תומך נלהב של חוקת ארצות הברית שנכתבה בידי ג'יימס מדיסון. עוד באותה השנה מונה למועצת החקיקה שהוטל עליה להביא לאשרור החוקה המוצעת מטעם קולה של וירג'יניה ובכך תחליף את הכרזת העצמאות. עיקר התמיכה של מרשל באשרור החוקה רוכזה ברישומיו הרשמיים לגופים מדיניים שהגנה שניתנה לפי החוקה על הרשות השופטת. בהמשך השתמש מרשל באהדה הציבורית האזורית שלו כדי להביא לאשרור החוקה בידי וירג'יניה.
זמן קצר לאחר שהחוקה החדשה נכנסה לפעילות, נשיא ארצות הברית הראשון, ג'ורג' וושינגטון, הציע למרשל את תפקיד התובע הכללי של וירג'יניה. מרשל סירב לקבל את התפקיד למרות ההצעה הנשיאותית. עם זאת, בשנת 1789 השיג מרשל השפעה רבה יותר על הפוליטיקה המדינית בורג'יניה כאשר הביע את תמיכתו בחיזוק סמכויות הממשל הפדרלי בוועידת הצירים של המדינה. כאשר במהלך שנות התשעים של המאה ה-18 החלו להתהוות המפלגות המוקדמות בארצות הברית תחת נשיאותו של וושינגטון, מרשל הזדהה עם המפלגה הפדרליסטית החדשה בראשותו של סגן הנשיא, ג'ון אדמס. בשנת 1795 הציע וושינגטון למרשל את תפקיד התובע הכללי אך מרשל סירב גם להצעה זאת. אף על פי כן, מרשל שב לחקיקה המדינית בוירג'יניה בתור מנהיג המפלגה הפדרליסטית.
תחת הנשיא אדמס.
בשנת 1797 מונה מרשל בעצת הנשיא ג'ון אדמס לוועדה שניסתה ללא הצלחה לשפר את יחסיה של ארצות הברית עם צרפת המהפכנית. הוועדה כללה בתוכה גם פוליטיקאים כגון אלברידג' גרי וצ'ארלס קוטוורת' פינקני. ממשל אדמס קידם מאוחר יותר את המלחמה הבלתי רשמית בין ארצות הברית לצרפת לנוכח משבר ביחסי המדינות. בהמשך פורסמו דיווחים שטענו כי אישים צרפתים תחת הכינויים הבדויים X, Y ו-Z פנו אל הוועדה וטענו בפניה כי חברי הוועדה לא יתקבלו בפני הממשלה הצרפתית אלמלא ישלמו הונאות כספיות רחבות היקף קודם לכן. יתרה מזאת, הדיווחים גילו כי היה זה מרשל שדחה באופן רשמי את נתינת ההונאה. הדיווחים הללו הפכו את מרשל לדמות ציבורית פופולרית ולימים נודע טיעונו מהסירוב הרשמי להונאה: "מיליונים להגנה, אך לא סנט אחד למחווה."
בשובו מהרפובליקה הצרפתית הראשונה ללא הסדרים, מרשל סירב לקבל את משרת שופט בית המשפט העליון במקום ג'יימס וילסון. אף על פי כן, הנשיא לשעבר וושינגטון קרא לו לטפח קריירה פוליטית ותמך בו בבחירתו לקונגרס של ארצות הברית בשנת 1799 כחבר המפלגה הפדרליסטית. שירותו של מרשל בבית הנבחרים האמריקאי (הבית התחתון בקונגרס) היה קצר מועד. הצלחה מרכזית שנזקפה עבורו הייתה כאשר הגן על הנשיא אדמס מפני האשמותיו של חבר המפלגה הדמוקרטית-רפובליקנית. ההאשמות התרכזו בעיקר בעובדה שאדמס הסכים לדרישה הבריטית להסגיר תושבים אמריקאים שהואשמו בהרג בריטים בעודם שטים באוקיינוס האטלנטי.
במאי 1800 דרש הנשיא אדמס את התפטרותו של מזכיר המלחמה המכהן והציע את התפקיד למרשל, אשר סירב לקבלו. בהמשך הציע אדמס למרשל את משרת מזכיר המדינה במקומו של טימות'י פיקרינג. מרשל קיבל את ההצעה והתמנה למזכיר המדינה הרביעי של ארצות הברית. אדמס חשש מגורלו של הממשל הפדרליסטי המעורער לקראת הבחירות הנשיאותיות של 1800 ועל כן מינויו של מרשל התרכז בעיקר בהכרה ובנאמנות של האחרון לממשל הקיים.
בסתיו 1800 התפטר נשיא בית המשפט העליון אוליבר אלזוורת' מתפקידו עקב בריאות רופפת. אדמס, לאחר שהפסיד לתומאס ג'פרסון והאנטי-פדרליסטים בבחירות בנובמבר 1800, התכוון תחילה למנות מחדש את ג'ון ג'יי לתפקיד. ג'ון ג'יי, לשעבר הנשיא הראשון של בית המשפט העליון, סירב לקחת על עצמו את התפקיד מחדש. במקום זאת החליט אדמס לפנות למרשל ובינואר 1801 הציג בפני הסנאט (הבית העליון בקונגרס) את מינויו של מרשל לנשיא בית המשפט העליון. מרשל מונה לנשיא בית המשפט העליון ב-27 בינואר והושבע לתפקיד ב-4 בפברואר, חודש בלבד לפני השבעתו של תומאס ג'פרסון לנשיא ארצות הברית. למרות קבלת המשרה החדשה, מרשל נענה לבקשה של אדמס להישאר בתפקיד מזכיר המדינה עד לסיום כהונתו ובהמשך הוחלף בידי ג'יימס מדיסון.
נשיא בית המשפט העליון.
ב-34 השנים שבהן כיהן מרשל כנשיא בית המשפט העליון – הכהונה הארוכה ביותר של כל נשיא בהיסטוריה האמריקאית – הצליח להרחיב את סמכויותיה של הרשות השופטת באופן נרחב ופעל לשמר את מקומה וחשיבותה של הרשות ביחס לרשות המחוקקת ולרשות המבצעת. תחילה, היה על מרשל לעבוד על פתרון הפרש הפרשונים של החוקה האמריקאית שנעו בין אם החוקה הקימה מדינה מאוחדת או פדרציה של ארצות. שופטי בית המשפט העליון לא יכלו פשוט לקבוע את דעותיהם האישיות בעניין והיה עליהם למנות ועדה המבוססת על דוקטרינה ללא ייחוס פוליטי ולא סמכות ויכולת להסדיר את השפעת החלטותיה על שתי רשויות השלטון האחרות.
למשימה ליצור גוף שכזה אשר יוכל להגיע להסכמות בנוגע למעמדה של החוקה ביחס למדינה היה מרשל בעל תכונות שהותאמו להפליא לצורך הקיים. בהבנתו שלו הייתה למרשל תפיסה ברורה ומאורגנת של מהות הממשלה היעילה שלדעתו נחוצה והיא סופקה על ידי החוקה. הוא כתב בצלילות, בשכנוע ובמרץ שהעניק לדעותיו השיפוטיות איכות שממנה לא יכלו מדינאים להימנע. בעיקר נודע מרשל באופי הניסוח הקולח שלו בפסקי דין. כהונתו העניקה הזדמנות לפיתוח גוף מאוחד של דוקטרינה חוקתית בבית המשפט העליון. היה זה ההיבט הראשון בהישגיו של מרשל שהוא ובית המשפט העליון שבראשו עמד עליו ולא הסכים לכל פשרות; היחס האחיד של הרשות השופטת כלפי מעמדה של החוקה ביחס למדינה.
מרבורי נגד מדיסון.
ביומו האחרון בנשיאות (3 במרץ 1801), הנשיא אדמס מינה 23 שופטי שלום פדרליסטים במטרה להקשות על ההשפעה של ממשל ג'פרסון החדש על הרשות השופטת. מרשל לא הספיק להעביר את כל האישורים של השופטים לפני שהוחלף למחרת בג'יימס מדיסון בתפקיד מזכיר המדינה. מדיסון, בהנחיית הנשיא ג'פרסון, אישר את מינוי השופטים בצורה סלקטיבית וסירב לאשר את המינוי של מתנגדים חריפים לממשל הדמוקרטי-רפובליקני החדש. בין השופטים שמשרתם החדשה לא אושרה היה מתנגד ג'פרסון ויליאם מרבורי אשר בתגובה תבע את מדיסון על כך שלא העביר לו את התפקיד. העדויות אל מול בית המשפט העליון התקיימו ב-11 בפברואר 1803, כאשר מרשל כבר מונה לנשיא בית המשפט העליון.
לצד מרשל היו מעורבים בתיק חמישה שופטי עליון נוספים: בושרוד וושינגטון, אלפרד מור, ויליאם פטרסון, סמואל צ'ייס וויליאם קושינג. במהלך הדיונים בין השופטים על קביעת התיק נסובו שלוש שאלות מרכזיות: 1. האם מרבורי ושאר שופטי השלום המיועדים צריכים לקבל את המשרות שהובטחו להם? 2. האם בזכותם של מרבורי ושאר שופטי השלום המובטחים להגיש תביעה למען קבלת העבודה? 3. האם לבית המשפט העליון ישנה הסמכות לקבוע את גורל המשרות של שופטי השלום המיועדים?
ב-24 בפברואר 1803 פורסמו החלטות השופטים. ארבעה שופטים (כולל מרשל) תמכו בטענתו של מרשל כי בזכותו לקבל את המשרה ולהגיש תביעה לבית המשפט העליון בשביל קבלתה. עם זאת, בית המשפט החליט במקביל בעד מדיסון כאשר קבע שהחקיקה המשפטית של 1789; אשר אפשרה למרבורי לתבוע את מדיסון מלכתחילה, נגדה את חוקת ארצות הברית ועל כן הייתה לא-חוקתית עקב זאת שהעניקה מספר רב של סמכויות לבית המשפט העליון גדולות יותר מהנקבע בחוקה עצמה. מד הקביעה הפחיתה בסמכויות בית המשפט העליון אך מאידך העניקה את סמכות הביקורת השיפוטית כך שבית המשפט העליון יכול היה באותה נקודה ואילך להטיל וטו על חקיקות שלא מותאמות עם החוקה האמריקאית. מרשל נימק את הקביעה כך:
מרשל השיג במסגרת החקיקה את תמיכת הממשל הדמוקרטי-רפובליקני הקיים של ג'פרסון אך יתרה מזאת העניק לרשות השופטת בארצות הברית סמכויות רבות שתרמו למעמדה ולמעשה הפכו אותה למגנת החוקה. לפי קביעת בית המשפט העליון מדיסון יצא זכאי בסוף המשפט. לעיתים, פסק דין מרבורי נגד מדיסון נחשב להיות פסק הדין החשוב ביותר בהיסטוריה האמריקאית עקב החשיבות הרבה שהייתה לו על הסדר סמכויות הרשות השופטת.
משפטיהם של צ'ייס ובר.