Fassett var den nesteldste i en søskenflokk på fem. Da han var tolv år gammel åpnet foreldrene William og Madeleine Fassett restauranten «Nepenthe» i Big Sur, California; restauranten ble for øvrig svært populær. Hans oldefar var den velstående forretningsmannen og juristen Jacob Sloat Fassett, som også ble valgt inn i Kongressen. Tippoldeforeldrene til Kaffe Fassett grunnla Crocker Art Museum i Californias hovedstad Sacramento. Som nittenåring fikk Kaffe Fassett stipend for å studere ved School of the Museum of Fine Arts i Boston, men etter kort tid sluttet han der for å dra til London og bli maler. I 1964 bosatte han seg permanent i London.