Han var gift første gang med Aletta van Weede som han fikk tre barn med, inkludert maleren Cornelis de Heem. Etter hennes død giftet han seg for annen gang med Anna Ruckers som han fikk seks barn med.