Su madre fue partidaria de los parlamentarios en el curso de la primera revolución inglesa e inclinada a un cierto puritanismo; su padre, Henry Wilmot, realista de origen angloirlandés y notorio alcohólico, había sido nombrado Conde de Rochester en 1652 como recompensa a sus servicios militares a Carlos II de Inglaterra durante el exilio de este a causa de Oliver Cromwell.