Byrd stemte i 1964 mot å oppheve raseskillet. Han var også motstander av kvotering basert på hudfarge, og rasekortet ble også benyttet da han gikk imot George W. Bush' utnevnelse av Condoleezza Rice som utenriksminister, selv om han selv sa at det først og fremst hadde å gjøre med krigen i Irak. Han fikk like fullt topp uttelling i undersøkelsen NAACP (National Association for the Advancement of Colored People) gjorde av kongressmedlemmenes stemmegivning i perioden 2003–04. Byrd var også motstander av likekjønnet ekteskap og tilhenger av en streng abortlov.