Hun begynte å spille gitar som 13-åring, og allerede i 1949 var hun profesjonell musiker og musikklærer. I 1950-årene var Kaye jazzgitarist i flere band i Los Angeles. I 1957 fikk hun sine første oppdrag som studiomusiker for Sam Cooke, og på begynnelsen av 1960-årene var hun som medlem av The Wrecking Crew med på innspillinger av en rekke hitlåter. Hun spilte blant annet på flere av The Beach Boys' hits, som blant andre «Good Vibrations», «Help Me, Rhonda», «California Girls», «Sloop John B», «Wouldn't It Be Nice», «God Only Knows» og «Heroes and Villains». Kaye var også med på Brian Wilsons legendariske -prosjekt høsten 1966.