Ричард происходил из англо-нормандского рода Клеров, происходившего от Жоффруа де Брионна, незаконнорожденного сына герцога Нормандии Ричарда I Бесстрашного. Внук Жоффруа, Ричард Фиц-Гилберт, активно участвовал в нормандском завоевании Англии, получив там обширные земельные владения в восьми южноанглийских графствах от Эссекса до Девона. По данным «Книги страшного суда» в 1086 году Ричарду Фиц-Гилберту принадлежало 176 маноров, главным образом в Суффолке, Суррее, Эссексе и Кенте. Центрами владений Ричарда стали построенные ими замки: Тонбридж в Кенте и Клер в Суффолке. По названию первого замка в современных источниках он стал именоваться Ричардом из Тонбриджа, а название второго вскоре превратилось в родовое имя потомков Ричарда Фиц-Гилберта — дома де Клер.