泽在高中时同时参加三支不同的运动队，在篮球队中出任组织后卫，在美式橄榄球队中任四分卫，在棒球队中任捕手。他大学时依靠篮球奖学金就读于南伊利诺伊大学。1967年NBA选秀中，弗雷泽被纽约尼克斯队在第一轮第5顺位选中，在尼克斯队期间，弗雷泽7次入选NBA全明星赛，并率队在1970年和1973年夺得NBA总冠军。