似乎很快就离开了宫廷，花了数年时间游历法国、德国和佛兰德斯。他访问意大利追求托斯卡纳的女继承人玛蒂尔达（生于1046年），但没有成功。在作为一个四处漂泊的骑士的这段时间，罗贝尔生有好几个私生儿女。他的私生子理查德似乎花费了一生中很多时间在他的叔叔威廉·鲁夫斯的皇家宫廷。1099年，理查德在一次打猎事故中在新森林被杀，翌年，理查德的叔叔威廉国王同样在此丧命。罗贝尔的一个私生女后来嫁给了圣桑的赫利亚斯（Helias of Saint-Saens）。1087年，征服者威廉在鲁昂围攻战中因意外落马而受伤死亡