De Graeff ble født som sønn til halv-suveren friherre Jacob Dircksz de Graeff og hans hustru Aeltje Boelens Loen. De Graeff giftet seg 14. august 1635 med Catharina Hooft.