In 1270 nam Robert deel aan de Achtste Kruistocht naar Tunis. Hij verbleef ook lange tijd in Italië.Vanuit Napels keerde hij in 1288 kort terug om zijn kasteel van Hesdin de Franse koning en koningin te ontvangen. Tegen 1292 keerde Robert definitief terug met in zijn zog Rinaldo Crignetti di Barletta, in het Frans Renaud Coignet. Deze architect nam het bestuur van het graafschap waar, kocht grote stukken grond om het park uit te breiden en ontwierp er gebouwen. In 1299 verdween hij van de radar omdat hij naar Italië was gevlucht vanwege beschuldigingen van afpersing en vervalsing.