纽约长岛，他的父亲是一位有名的爵士鼓手，母亲叫埃丝特·威廉斯。1948年，威廉斯及其全家迁居洛杉矶，他在那里就读，1950年毕业后开始就读加州大学洛杉矶分校、并师从意大利裔作曲家马里奥·卡斯泰尔诺沃-泰代斯科学习作曲。1952年，他应征入伍，开始在美国空军服役，这期间他还是的指挥和音乐总监。1955年从军队退役后，他返回纽约并进入朱利亚德学院深造，并师从学习钢琴。在纽约期间，他以爵士乐钢琴演奏家为工作，并在许多俱乐部表演和录音，表演的大多为着名作曲家亨利·曼西尼的作品。60年代初，已经小有名气，人称