I hans fravær hadde den tysk-romerske keiseren Henrik IV forsøkt å ta kontroll over Flandern. Robert svarte med å støtte opprøret til Cambrai mot keiseren og hans tilhenger, biskop Gaulcher, og tok et antall borger. Fred ble inngått i 1102 da han avla troskapsløfte, men etter 1105 marsjerte den nye keiseren, Henrik V, mot Flandern med hjelp fra Baldwin III av Hainaut og en hær fra Holland. Robert stoppet dem utenfor Douai og en ny fredsavtale ble inngått hvor keiseren anerkjente Roberts krav på Douai og Cambrai.