Brown-saken (, 347 U.S. 483) i 1954 var Davis' siste i USAs høyesterett, og kanskje også den mest kjente. Han mislyktes i å forsvare «forskjellige, men likeverdige»-prinsippet fra den lignende saken (342 U.S. 350) fra 1952. På en usedvanlig måte gav Davis uttrykk for egne holdninger, idet han argumenterte for at Sør-Carolina hadde forsøkt å komme ulikhet mellom svarte og hvite skoler til livs, og at delstaten skulle få fortsette med dette uten rettslig innblanding. Davis forventet å vinne, sannsynligvis fordi dommerne var splittet, selv etter at saken ble tatt opp på nytt etter høyesterettsjustitiarius Fred M. Vinsons død.