ボストン音楽院
リヴァースはオクラホマ州エル・リーノで生まれた。父親は、フィスク・ジュビリー・シンガーズやシルヴァーストーン・カルテットと一緒に歌っていたゴスペル・ミュージシャンで、幼い頃からリヴァースを音楽にさらしていた。祖父は、ケンタッキー州の宗教指導者であるマーシャル・W・テイラー。リヴァースは、1940年代に海軍での任務中にカリフォルニアに駐留した。ここで彼はブルース歌手のジミー・ウィザースプーンと半定期的に演奏した。リヴァースは1947年にマサチューセッツ州ボストンに移り、ボストン音楽院でアラン・ホヴァネスに師事した。