En 1427 o poco antes contrajo matrimonio con Elisabeth (o Ysabiel) Goffaert, hija de un zapatero de Bruselas y unos cinco años menor, con quien tuvo al menos cuatro hijos: Cornelis (Cornille) y Margaretha (Marguerite), mencionados en un documento de octubre de 1435, en el que también se indicaba que Rogier van der Weyden, de 35 años de edad, tenía fijada su residencia en Bruselas, y Pieter y Jan, nacidos entre 1437 y 1450.