En 1667 se casó con la rica heredera Elizabeth Malet, de la que tuvo seis hijos, aunque tuvo numerosas y numerosos amantes, entre ellas la actriz Elizabeth Barry.