学习作曲。1952年，他应征入伍，开始在美国空军服役，这期间他还是的指挥和音乐总监。1955年从军队退役后，他返回纽约并进入朱利亚德学院深造，并师从学习钢琴。在纽约期间，他以爵士乐钢琴演奏家为工作，并在许多俱乐部表演和录音，表演的大多为着名作曲家亨利·曼西尼的作品。60年代初，已经小有名气，人称"Little Johnny Love" Williams的他开始担任着名歌手旗下乐队的队长兼音乐总监。1956年，威廉斯与女演员结婚，两人生有两子一女：1956年出生的长女珍妮弗、1958年出生的次子马克和