En 1120, el hermano menor de Robert, Nigel D'Oyly, fue nombrado señor del castillo de Oxford.