Casado en primeras nupcias con Isabel Mure de Rowallan, hija del señor Adán Mure de Rowallan, una señora que anteriormente había sido su amante, Roberto se había casado con ella en 1336, pero como el matrimonio había sido criticado como no canónico, él volvió a casarse con ella en 1349, teniendo por lo menos diez hijos: