På 1940-tallet var Byrd medlem av Ku Klux Klan, og selv om han i ettertid har beskrevet det som en tabbe har synet hans på raseforhold i USA vært kontroversielt.