Sassoon var fetter til poeten Siegfried Sassoon. Han hadde rykte som en av de mest ettertraktede ungkarene og mest populære vertene i Storbritannia. Han bygget Port Lympne Wild Animal Park i Kent. Han ombygde huset og eienommen sin ved Trent Park i Cockfosters i London.