Отцом Свейна был нормандец Роберт Фиц-Вимарк, точное происхождение которого неизвестно. В источниках указывается только имя его матери — Вимарк (Гимара), которая, возможно, была бретонкой. Возможно, что Роберт был незаконнорожденным отпрыском семьи герцогов Нормандских. Он переселился в Англию во время правления Эдуарда Исповедника, где не позже 1052 года построил в Эссексе. При королевском дворе он занимал должность , из-за чего в некоторых источниках он упоминается как "Роберт Конюший" () Роберт сохранил своё положение при Гарольде II, но во время Нормандского завоевания Англии поддержал герцога Вильгельма Завоевателя, получив от него новые владения и должность шерифа Эссекса. Согласно «Книге Страшного суда» его владения составляли 150 гайд в семи графствах (по большей части в Эссексе), что делало его десятым по богатству землевладельцем-мирянином в Англии из числа не имевших графский титул.