Norwich fue el único hijo del político y diplomático Duff Cooper, I vizconde de Norwich, miembro del Partido Conservador (Reino Unido) y embajador británico en Francia para quien en 1952 fue creado el título de vizconde de Norwich, y de lady Diana Manners, una figura de la alta sociedad, célebre por su belleza.