El vizconde Kemsley se casó en dos ocasiones: primero en 1907, con Mary Lilian Holmes, hija de Horace George Holmes, la pareja tuvo seis hijos y una hija; después, tras la muerte de Mary Lilian en 1928, se casó con Edith Merandon du Plessis en 1931. Tras su fallecimiento en 1968, fue sucedido por , el II vizconde. Su hijo menor, el diputado conservador , murió durante el atentado del IRA en el Grand Hotel de Brighton en 1984.