בסדרה של פסקי דין במשך שלוש השנים הבאות, הצביע בארטון בעד החלשת דוקטרינת נפרד אך שווה, שנקבע בפסק דין פלסי נגד פרגוסון מ-1896. הוא הצטרף להחלטה שהתקבלה פה אחד בפסק הדין "סוויט נגד פיינטר" מ-1950, שבו נקבע שיישום דוקטרינת נפרד אך שווה בלימודי משפטים נוגד את החוקה. הימן מריון סוויט, אפרו-אמריקאי, קיבל סירוב כאשר ביקש להתקבל ללימודים בבית הספר למשפטים של אוניברסיטת טקסס באוסטין. כאחד המקרים הראשונים בהם הוכח ש"נפרד אך שווה" לא שווה כלל, השפיע תיק זה באופן משמעותי על פסיקת בית המשפט בפסק דין בראון נגד מועצת החינוך, ארבע שנים לאחר מכן. במהלך הדיונים בתיק, הגיע בארטון למסקנה שיש להפוך את פסק דין פלסי נגד פרגוסון על פניו. הוא הודיע לשאר השופטים על מסקנתו לאחר הדיונים בעל פה בתיק. באותה שנה הצטרף בארטון להצבעה פה אחד בפסק הדין "מקלורין נגד אוקלהומה" , שבו בוטלה ההפרדה הגזעית בכל מוסדות החינוך האקדמאים בארצות הברית, פסק דין שהתקבל למעשה על בסיס ההחלטה בפסק דין סוויט. לאחר מכן כתב בארטון את פסק הדין שהתקבל פה אחד "הנדרסון נגד ארצות הברית" מ-1950. תיק זה היה קשור למערכת רכבות הנוסעים הבין-מדינתית. הנדרסון, אפרו-אמריקאי שעבד בממשל הפדרלי, רכש כרטיס נסיעה בעלות זהה לכרטיס שנמכר לנוסעים לבנים, ולכאורה היה אמור לקבל את אותה רמת שירות. אך הוא סירב לשבת בקרון המסעדה לאחר שהמלצרים הושיבו נוסעים לבנים בשולחנות שיועדו לשחורים. אף על פי שפסיקות בית המשפט העליון בפסקי הדין סוויט ומקלורין ניתנו על בסיס רקע חוקתי, היסס בארטון לעשות כן אם היה מתברר שיש רקע פרוצדורלי או טכני לפסוק באופן דומה. בפסק דין הנדרסון, עלה בידו של בארטון לקבץ את כל השופטים להצבעה פה אחד כאשר הוא ביסס את החלטתו על חוק הסחר הבין-מדינתי של 1887 ולא על התיקון ה-14.
ב-1953 כבר התפתחה חשיבתו של בארטון בנוגע להפרדה הגזעית עד להתקפה חוקתית על פסק דין פלסי נגד פרגוסון. באותה שנה דן בית המשפט העליון בפסק הדין "טרי נגד אדמס" , תיק בו מועדון פוליטי פרטי ללבנים בלבד שלט על הבחירות המקדימות במפלגה הדמוקרטית במחוז בחירה בו לרפובליקנים לא היה סיכוי לנצח. מצב זה נועד לשלול את זכות הבחירה משחורים. בית המשפט הפדרלי לערעורים ובית המשפט הפדרלי המחוזי אישרו את תאימותו של מצב זה לחוקה, שכן הם היו משוכנעים שהמועדון היה פרטי לחלוטין ולפיכך שום פעולה של המדינה לא הייתה מעורבת בכך. אך בדיון הראשון בעל פה שהתקיים בבית המשפט העליון, היה בארטון נחוש בדעתו שבית המשפט יהפוך את פסקי הדין של הערכאות הקודמות על פיהן ויכריז על המצב הזה כנוגד את החוקה. השופטים נקטו בגישה שונה מאוד למקרה. דעת הרוב בתיק נכתבה על ידי הוגו בלאק, ואליו הצטרפו בארטון ודאגלס. פרנקפורטר, שהיה מסוכסך עם בלאק, הצטרף לדעת הרוב, אך כתב חוות דעת משל עצמו, שאותה הוא סירב לסווג כחוות דעת משלימה. קלארק כתב אף הוא חוות דעת משלימה, שאליה הצטרפו וינסון, ריד וג'קסון. למרבה ההפתעה, בארטון הצטרף לבלאק בהכרזה שקיומם של מועדונים ללבנים בלבד הם הפרה של התיקון ה-15 לחוקה. בארטון קיבץ בסופו של דבר את כל השופטים, למעט מינטון, סביב אותה החלטה להחזיר את התיק לבית המשפט הפדרלי המחוזי לקבלת החלטה, שתוכנה הוגדר במפורש בהחלטת בית המשפט העליון.
פסק דין בראון נגד מועצת החינוך.
לבארטון היה חלק מכריע בהחלטת בית המשפט העליון בפסק דין בראון נגד מועצת החינוך מ-1954. כמה עתירות שטענו לאפליה גזעית הנוגדת את החוקה בבתי ספר יסודיים ותיכוניים הובאו בפני בית המשפט העליון ב-1952. בפסק הדין הראשון שבו היה מוכן בארטון להפוך את פסק דין פלסי על פיו, הוא הצביע ב-7 ביוני יחד עם קלארק ומינטון בעד הענקת צו עיון מחדש, הן בפסק דין בראון והן בפסק דין אחר, "בריגס נגד אליוט" . בהמשך הסכים בית המשפט לשמוע את העתירה בפסק הדין "בולינג נגד שרפ" מ-1954, "דייוויס נגד מועצת בתי הספר של מחוז פרינס אדוארד" מ-1952, ו"גבהארט נגד בלטון" מ-1952. הטיעונים בעל פה בכל חמשת התיקים הושמעו בראשית דצמבר 1952. ב-13 בדצמבר קיימו השופטים את הדיון הראשון בתיקים שלאחר הטיעונים בעל פה. במהלך הדיון יצאו בארטון, בלאק, דאגלס ומינטון נגד ההפרדה הגזעית בבתי הספר הציבוריים. קלארק לא היה ככל הנראה בטוח בעצמו, אך נראה היה שניתן היה לשכנעו להצטרף לרוב. בארטון עצמו ציין ביומנו שהוא חש שבית המשפט יצביע ככל הנראה ברוב של שישה מול שלושה לאסור את האפליה הגזעית בבתי הספר, אך לא על בסיס טיעונים חוקתיים. השופטים האחרים לא היו בטוחים בעצמם. דאגלס האמין שחמישה שופטים יצביעו בעד השארת פסק דין פלסי על כנו: וינסון, קלארק, פרנקפורטר, ג'קסון וריד. מתוך אלו, פרנקפורטר וג'קסון הטילו את הספק הרב ביותר בפסק דין פלסי. וינסון נחשב ליושב על הגדר מסוג אחר: הוא היה מוטרד קשות בשל ההשפעה שתהיה להוראה לביטול ההפרדה הגזעית על האומה. ככל הנראה, גם אם וינסון הצטרף לרוב שהחליט על איסור מדיניות "שווה אך נפרד" בבתי הספר הציבוריים, הוא עשה זאת רק על רקע טכני צר - מניעת החלטה ברוב קולות, של בית משפט מפולג, ופסיקה שתעדר משקל חוקי ומוסרי. פרנקפורטר, שבאופן אישי סבר שהפרדה גזעית היא דבר "נתעב", טען שהתיקים צריכים להישמע במושב הבא של בית המשפט. רוב השופטים הסכימו. היו שקיוו לשינויים בתמונה הפוליטית שיקלו על קבלת החלטה, בעוד שאחרים היו מודאגים בנוגע להשפעה שתהיה לדעה חלוקה. ב-8 ביוני הוציא בית המשפט צו, שבו נקבעו הטיעונים מחדש ל-12 באוקטובר 1953.
ב-8 בספטמבר 1953 נפטר נשיא בית המשפט העליון פרד וינסון באופן פתאומי מהתקף לב. ב-30 בספטמבר הציג הנשיא דווייט אייזנהאואר את מועמדותו של ארל וורן, מושל קליפורניה הרפובליקני היוצא, כמחליפו של וינסון. החדשות על מינויו של וורן לא היו בלתי צפויות. וורן סירב להתמודד על תקופת כהונה רביעית כמושל ב-2 בספטמבר, ומזה זמן רב הוא נחשב למועמד מועדף לכהן בבית המשפט העליון. מינויו של וורן היה מינוי פגרה. משמעות הדבר שמינויו יבוטל, אלא אם כן הסנאט יאשר את מינויו עד לתום המושב הבא של בית המשפט. ב-5 באוקטובר הושבע וורן לכהונתו. מינויו הוגש לאישור הסנאט ב-11 בינואר 1954. הסנאטור ויליאם לנגר, יושב ראש ועדת המשפט של הסנאט השהה את הדיון במינוי במשך שבעה שבועות כדי לעכב שימוע על האשמות בלתי מבוססות שוורן היה קומוניסט ושהוא נשלט על ידי שדולת יצרני המשקאות החריפים בקליפורניה. ב-24 בפברואר הוגש המינוי למליאת הסנאט לאחר שבוועדת המשפט הוא זכה לרוב של 12 תומכים מול 3 מתנגדים. ב-1 במרץ אושר המינוי במליאת הסנאט לאחר דיון שארך שמונה דקות.
גם לפני שלב הטיעונים בעל פה בפסק דין בראון, היה וורן משוכנע שיש להפוך על פיו את פסק דין פלסי ולשים קץ לאפליה הקיצונית במערכת החינוך הציבורית. וורן ראה בבארטון בעל ברית מרכזי במערכה לביטול פסק דין פלסי. מיד לאחר השבעתו, פעל וורן נמרצות לקשור קשרי ידידות הדוקים ככל האפשר עם בארטון.
הטיעונים החוזרים בעל פה בפסק דין בראון ובשאר התיקים נקבעו לראשית דצמבר 1953. ישיבת השופטים הראשונה לאחר הדיונים בעל פה התקיימה ב-12 בדצמבר, ואז כבר הבהיר וורן שהוא יצטרף לבלאק, בארטון, דאגלס ומינטון בהצבעה על ביטול פסק דין פלסי. וורן סבר שהחלטה שתתקבל פה אחד בפסק דין בראון תהיה נחוצה כדי לזכות בהסכמה ציבורית להחלטה. הוא ראה בריד כשופט שהעדיף את ההפרדה הגזעית ולא ראה צורך לבטל את פסק דין פלסי. אך אפילו ריד הודה ב-12 בדצמבר שמה שתאם את החוקה ב-1896 לא יהיה מתאים לנסיבות שהשתנו ב-1953. וורן ביקש לשכנע את ריד באופן מיידי. במהלך הפסקת הצהריים ב-12 בדצמבר, הזמין וורן את ריד לארוחת צהריים יחד עם בארטון, בלאק, מינטון ודאגלס. הלחץ הקבוצתי על ריד נמשך בחמשת הימים הבאים, כאשר וורן סעד מדי יום עם ריד, בארטון, בלאק ומינטון. בארטון תמך בחפץ לב במאמציו של וורן לגבש דעה פה אחד של כל השופטים. וורן צדק בכך שראה בבארטון את בעל הברית רב הערך ביותר שלו בגיבוש הרוב בפסק דין בראון. בארטון לא רק שדחף להשגת פתרונות מעשיים, שסייעו לזכות בהסכמתו של ריד, אלא גם הוכיח את עצמו כרהוט, נלהב ומשכנע, בניגוד לציפיותיהם של רבים בבית המשפט. כאשר המשיכו השופטים לדון על עמדתם כלפי פסק דין בראון ושאר התיקים, בשליחת תזכירים, ובשיחות אישיות ביניהם, פעל בארטון להקל את החששות בנוגע ליישום ההחלטה על ביטול ההפרדה הגזעית כאשר הוא דיבר בחופשיות על ניסיונו כראש עיריית קליבלנד. באותה תקופה הוא שם קץ לאפליה הגזעית במערכת הבריאות כאשר שכר אחיות אפרו-אמריקאיות לעבודה בבתי חולים שהיו מיועדים ללבנים בלבד. מהלך זה עבר באופן חלק, והאחיות הללו זכו להערכה בקרב האזרחים הלבנים על מקצועיותן.
מאמציהם של וורן ושל בארטון השתלמו בסופו של דבר. ב-17 במאי 1954 נתן בית המשפט העליון החלטה פה אחד בפסק דין בראון נגד מועצת החינוך. מתוך גישה פרגמטית, דחה וורן את האפשרות להפוך על פיו את פסק דין פלסי נגד פרגוסון, אך הסכים שהוא לא נגע לתחום החינוך הציבורי. יישום ההחלטה הושארה לבתי המשפט הפדרליים המחוזיים במועד מאוחר יותר.
במשך חלק מתקופת כהונתו בבית המשפט העליון, ניהל בארטון רישומים על כל ישיבות השופטים וניהל יומן שבו הוא תיעד את כל הדיונים שהיו לו עם השופטים האחרים. יומנו של בארטון הוכח כמקור רב ערך בהבנת הדרך שבה השיג וורן החלטה פה אחד בפסק דין בראון נגד מועצת החינוך.
התפטרותו.