Robert Franklin Williams nasceu em Monroe, Carolina do Norte, em 26 de fevereiro de 1925, filho de Emma Carter e John L. Williams, que trabalhava como lavador de caldeiras ferroviárias. Ele tinha duas irmãs, Lorraine Garlington e Jessie Link; e dois irmãos, John H. Williams e Edward S. Williams. Williams ganhou o fuzil de seu avô, dado por sua vó, uma ex-escrava. Seu avô fora apoiador do Partido Republicano e editor do jornal "The People's Voice" durante os anos difíceis após a Reconstrução na Carolina do Norte. Aos 11 anos, Williams testemunhou uma mulher negra ser espancada e arrastada por um policial, Jesse Helms, Sr. Helms Sr., mais tarde o chefe da polícia, era o pai do futuro senador Jesse Helms.