Andries de Graeffs familie besto av faren Jacob Dircksz de Graeff som var borgermester i Amsterdam, moren Aeltje Boelens Loen. Familien hans tilhørte i en lang periode den styrende klasse i deres hjemby.