Charles tuvo en total doce hijos de diez relaciones diferentes: Alfonsina Charles, Evelyn Robinson, Sheila Raye Charles, Ryan Corey Robinson, Robyn Moffett, Raenee Robinson, Vincent Kotchounian, David Robinson, Robert Robinson, Ray Charles Robinson, Jr., Charles Wayne Hendricks, Reatha Butler y Alexandra Bertrand.