Han forlot Kypros da Rikard solgte øya til Tempelridderordenen, som igjen solgte det videre til den avsatte kongen av Jerusalem, Guy av Lusignan, i 1192. Robert ble tettere knyttet til kongen og som kongens fraktet han Rikards utstyr fra Det hellige land og til England. Da kongen ble tatt til fange i 1192 i Wien var vilkårene for hans løslatelse at menn skulle stå som «pant» for at løsepengene ville bli betalt. Robert var blant de som fungerte som gisler, skjønt øyensynlig ikke for lenge ettersom han var tilbake ved kongens side i 1194 ved Poitiers.