Роберт, вероятно, сохранил своё положение и после восхождения на престол Гарольда II, поскольку «Книга Страшного суда» сообщает, что часть поместий, которыми в 1086 году владел Свейн Фиц-Роберт, были даны его отцу «после смерти Эдуарда». Однако когда герцог Нормандии Вильгельм вторгся в Англию, Роберт перешёл на его сторону. сообщает, что когда армия герцога вторглась в Суссекс, Роберт послал Вильгельму сообщение, предупреждающее о силе армии короля Гарольда, предлагая тому отступить в укреплённое место, опасаясь, что нормандцы не смогут одолеть английского короля. В ответ Вильгельм поблагодарил Роберта за известие, хотя и в несколько оскорбительных выражениях, и предпочёл всё же напасть на Гарольда, разгромив того в битве при Гастингсе. После завоевания Англии норманнами Роберт сохранил своё положение, получив ещё ряд владений и должность .