Fra 1960 til 1969 var han gift med Zamira Menuhin, datter av Yehudi Menuhin, og de fikk ett barn. Ekteskapet endte i skilsmisse og han giftet seg da med pianisten Patsy Toh, som også var fra Shanghai.