Da keiserinnens sønn, hertug Henrik kom til England i januar 1153 oppsto det store muligheter for jarl Robert. Han var sannsynligvis i forhandlinger med Henrik i løpet av våren og nådde en enighet i mai 1153 hvor hertugen ga tilbake hans normanniske eiendommer. Hertugen feiret pinse ved Leicester i juni 1153 og han og jarlen var i stadig kontakt til fredsavtalen mellom hertugen og kongen kom i november 1153. Jarlen dro til Normandie med hertugen i januar 1154 og fikk der tilbake sine normanniske festninger, eiendommer og titler. Som en del av hans avtale ble han også øverste justiciar av England og Normandie.