Byrd wurde 1917 als "Cornelius Calvin Sale Jr." in North Carolina geboren. Seine Mutter starb in der Grippepandemie von 1918. Gemäß ihrem Wunsch verteilte sein Vater die gemeinsamen Kinder auf verschiedene Verwandte. Der einjährige Cornelius kam zu seiner Tante Vlurma Byrd und ihrem Ehemann Titus, die ihn in Robert Byrd umbenannten. Er wuchs in einer Bergbauregion in West Virginia auf; laut seinen Angaben vermittelten ihm die Pflegeeltern den typischen Standpunkt eines weißen Südstaatlers in der Zeit, als die Reconstruction-Ära noch im Gedächtnis der Menschen war und die Rassentrennung in den Südstaaten als unumstößlicher Fakt galt. Byrd beschrieb in seinem autobiographischen Buch "Child of the Appalachian Coalfields" (2005) das damalige gesellschaftliche Klima: „Blacks were generally distrusted by many whites, and I suspect they were subliminally feared.“ („Viele Weiße misstrauten Schwarzen generell und ich vermute, sie wurden unbewusst gefürchtet.“)