Sassoon tilhørte de prominente Sassoon- og Rotschild-familiene. Hans far var Edward Sassoon, sønn av Albert Abdullah David Sassoon. Hans mor var Aline Caroline de Rothschild, datter av Gustave Samul de Rothschild. Hans søster var Sybil Sassoon, som giftet seg med George Cholmondeley.