I 1105 invaderte Henrik Normandie som en følge av rykter om vanstyre og uro. Orderic Vitalis forteller om en episode i påsken 1105, da Robert skulle delta i en messe forrettet av den høyverdige Serlo, biskop av Sèes. Robert tilbrakte natten før i selskap med skjøger og drikkebrødre, og da han sov av seg rusen ble han frastjålet alle klærne sine. Han våknet naken og måtte stå over prekenen.