De Graeff también fue asesor y un amigo cercano de De Witt, y después del fallecimiento de Witt en el rampjaar de 1672 se convirtió en el tutor de sus cinco hijos.