Nunca volvió a casarse, pero tenía un ama de casa de mucho tiempo, Mary Skinner, que fue asumida por muchos de sus contemporáneos como su amante, y a veces era citada como "la señora Pepys".