Ричард происходил из нормандского рода, который был основан неким Ансфридом, имевшим, по утверждению Гильома Жюмьежского, датские корни. Отцом его был Гуго д’Авранш, соратник Вильгельма Завоевателя, получивший после Нормандского завоевания обширные владения в Англии, а также титул графа Честера. Благодаря активному строительству крепостей, раздаче ленов нормандским рыцарям и использованию денежных средств и людских ресурсов своих среднеанглийских владений, Гуго превратил Чешир в хорошо укреплённую приграничную марку, охранявшую подступы из северного Уэльса на территорию Англии. В целом его владения располагались на территории 20 графств. Согласно «Книге Страшного суда», Гуго был одним из 11 богатейших магнатов Англии, которым досталась половина из переданных Вильгельмом своим соратникам земель, то есть почти четверть Англии. Также Гуго был виконтом Авранша, владея землями, которые располагались в в западной части Нормандского герцогства на полуострове Котантен. Известно, что дед Ричарда, Ричард ле Гоз, владел большим имением в Авранше, а также, по некоторым сведениям, ему принадлежало Крюлли. Авранш считался одним из крупнейших виконтств в Нормандии. Располагаясь между Бретанью и побережьем, наряду с Контантеном и Бессеном Авранш имел важное стратегическое значение. Существовала гипотеза, что матерью Гуго д’Авранша была единоутробная сестра Вильгельма Завоевателя, дочь Герлевы и Эрлуина Контвильского, однако в настоящее время предполагается, что указание на родство Гуго с Вильгельмом Завоевателем было добавлено, чтобы увеличить его статус и улучшить репутацию. По другой версии, матерью могла быть дочь Роберта де Грантмесниля.