Первым достоверно известным представителем рода является Гилберт (ум. до 1130). Согласно «Истории Уильяма Маршала», он был сыном или зятем Гилберта Жиффара, который переселился из Нормандии в Англию или во время Нормандского завоевания, или вскоре после него, и, согласно Книге Страшного суда (1086 год), имел владения в будущем графстве Уилтшир на западе Англии. «"Constitutio Domus Regis"» называет Гилберта главным маршалом королевского двора Генриха I. Имя его жены неизвестно, возможно, она была наследницей Уильяма Фиц-Ожера. У Гилберта известно двое сыновей: младший, Уильям Жиффар (ум. после 1166), который в 1141—1142 годах был канцлером королевы Матильды. Старший же, Джон Фиц-Гилберт (ум. 1165), унаследовал от отца должность маршала. Он принимал участие в гражданской войне в Англии (сначала на стороне Стефана Блуасского, затем на стороне императрицы Матильды), благодаря чему получил ряд владений. Во время правления Генриха II сохранил большую часть своих приобретений, а должность главного маршала стала наследственной в его семье. Позже Джон попал в опалу, и не играл серьёзной роли в английской политике, однако в 1164 году он начал тяжбу против архиепископа Кентерберийского Томаса Беккета, которой воспользовался король, чтобы изгнать архиепископа из Англии.