Charles Bronson ble født 3. november 1921 i Ehrenfeld i Pennsylvania. Han var ett av 15 barn til Walter Bunchinski, litauisk gruvearbeider, og en litauisk-amerikansk mor. Bronsons familie nedstammet fra lipka-tatarer i Litauen. Under hans oppvekst ble det talt russisk og litauisk i familien. Charles tok eksamen fra High School, mens søsknene forble uten skoleavslutning. I tillegg til sitt morsmål engelsk talte han flytende russisk, litauisk og gresk. Da faren døde, var han ti år gammel.