I 1965 ble han stoffri etter å ha brukt heroin i tjue år. Ray Charles var gift to ganger og fikk i alt tolv barn med ni kvinner.