Дедом Роберта был нормандец Роберт Фиц-Вимарк, точное происхождение которого неизвестно. В источниках указывается только имя его матери — Вимарк (Гимара), которая, возможно, была бретонкой. Возможно, что Роберт был незаконнорожденным отпрыском семьи герцогов Нормандских. Он переселился в Англию во время правления Эдуарда Исповедника, где не позже 1052 года построил в Эссексе. При королевском дворе он занимал должность , из-за чего в некоторых источниках он упоминается как "Роберт Конюший" () Роберт сохранил своё положение при Гарольде II, но во время Нормандского завоевания Англии поддержал герцога Вильгельма Завоевателя, получив от него новые владения и должность . Согласно «Книге Страшного суда» его владения составляли 150 гайд в семи графствах (по большей части в Эссексе), что делало его десятым по богатству землевладельцем-мирянином в Англии из числа не имевших графский титул. Его сыном был Свейн Фиц-Роберт, унаследовавший все владения отца и также какое-то время занимавший должность шериф Эссекса. Он построил в Эссексе, поэтому его владения называют баронией Рейли.