Han var med i en rekke jazzband på 1960-tallet før han i 1968 ble invitert av Chris Squire til å bli med i et nytt band han hadde startet, nemlig Yes. Kaye spilte på de tre første albumene til Yes, , og før han ble sparket på grunn av sin uvillighet til å spille moderne synthesizere og Mellotron, noe Wakeman var kjent for å gjøre.