Etter hjemkomsten startet forberedelsene til en invasjon for å avsette Henrik og erobre den engelske kronen. I 1101 landet Robert med sin hær i Portsmouth, men mangelen av støtte fra de engelske baronene medførte at Henrik greide å avverge invasjonen. I stedet ble Robert tvunget til å frasi seg sitt krav til den engelske tronen ved en diplomatisk traktat, den såkalte Alton-traktaten i Alton. Det er sagt at Robert var en glimrende feltkommandør, men en forferdelig general under korstoget. Hans vanstyre i Normandie og hans mislykkede invasjon av England viser at han verken var en dyktig militær eller en politisk leder.