达州的彭萨柯拉出生，父母为牙买加移民，母亲Stella Gertrude (1903–1936)是教师，父亲Edwin S. Shirley (1885–1982)则为圣公会牧师。雪利于两岁时开始学习钢琴。他曾在维吉尼亚联邦大学和短暂註册，随后在华盛顿特区的美国天主教大学就读，并于1953年获得音乐学士学位。他也因拥有两座荣誉博士学位而被称作「雪利博士」。雪利曾至苏联的圣彼得堡音乐学院学习钢琴和音乐理论。根据他的姪子Edwin所言，他的唱片公司错误地宣传他在欧洲学习音乐，以提昇他在「毕业于黑人学校的