レイ・チャールズ
生涯を通じてチャールズは多くの女性と関係を持ち、12人の子を持った。チャールズは2回結婚しており、1回目は1951年7月31日から1952年にアイリーン・ウィリアムズと結婚しており1年もたなかった。2回目はデラ・ベアトリス・ハワード・ロビンソンで、1954年にテキサス州で出会い、翌年の1955年4月5日に結婚した。ベアトリスの略でビーと呼んでいた。1955年、2人にとっての第一子長男レイ・チャールズ・ロビンソン・ジュニアが誕生した。その時チャールズはテキサス州で演奏中だったため会えなかった。2人の間には他に2人の息子デイヴィッドとロバートが誕生した。一家はカリフォルニア州ヴュウ・パークで暮らしていた。チャールズは自身のヘロイン中毒が結婚生活に支障をきたしたと考えていた。薬物中毒、ツアー中の浮気、情緒不安定な言動により2人の仲は悪化し、1977年に妻から離婚が申請され、22年間の婚姻関係は終了した。
6年に亘り、レイレッツの初期メンバーのマージー・ヘンドリクスと不倫し、1959年に息子チャールズ・ウェインが誕生した。メイ・モスリー・ライルズと浮気をし、1961年に娘レネーが誕生した。1963年、サンドラ・ジーン・ベッツとの間に娘シーラ・レイ・チャールズが誕生した。シーラ・レイは父と同様にシンガーソングライターとなったが、2017年6月15日に乳癌により亡くなった。1967年に出会ったパリの愛人Arlette Kotchounianとの間に1977年に息子ヴィンセントが誕生した。
1961年終盤までにチャールズは小規模のツアーメンバーからビッグバンドに拡大させ、印税やツアー費用の増加もあり、制作段階でメインストリーム・ポップに進出した数少ない黒人アーティストの1人となった。しかし1961年11月のコンサートツアー中、インディアナ州インディアナポリスにて警察がチャールズのホテルの部屋を捜索して薬棚からヘロインが発見され、これまでの成功が一気に崩壊した。ただし警察による正式な令状のない捜査であったため事件は取り下げられ、チャールズはすぐに音楽界に戻った。
1960年代初頭、ルイジアナ州からオクラホマ州オクラホマシティへ向かう航空機に搭乗中、降雪と霜取り機の使用の失敗によりフロントガラスが完全に氷で覆われパイロットの視界が悪くなり、墜落寸前となった。空中で2回旋回し、フロントガラスのごく僅かな部分から見ながら着陸することができた。チャールズはこの経験をスピリチュアルに解釈し、「計り知れない誰かあるいは何か」がフロントガラスの氷に小さな隙間を作り、最終的に飛行機が安全に着陸することができたのだと語った。
1962年のアルバム『Modern Sounds in Country and Western Music』および続編の『Modern Sounds in Country and Western Music, Vol. 2』はカントリー・ミュージックをメジャー路線にすることに貢献した。