I 1426 ble Rogier gift med Elisabeth (Lysebette) Goffaert fra Brussel, datter at skomaker Jan Goffaert og Cathelyne van Stockem. Rogier og Elisabeth fikk fire barn: Cornelius (født 1427) ble munk, Margaretha (født 1432), Pieter (født 1437) ble maler, og Jan (født 1438) ble gullsmed.