Ezzard Mack Charles ble født 7. juli 1921 i Lawrenceville, Georgia, USA. Tidlig i livet hans flyttet familien hans til Cincinnati, Ohio.