Son origine n'est pas connue avec certitude. Michaud le dit du village de Noyers, près de Langres, mais son affirmation, insuffisamment documentée, ne peut pas être prise en compte. Guibert de Nogent le dit « né au-delà de la Seine ». On considère qu'il était neveu d'un Gautier, seigneur de Poissy, et peut-être du village de Boissy-sans-Avoir. Il serait fils d'Hugues Sans-Avoir, cité en 1058 comme témoin d'un acte de Galéran III, comte de Meulan, et frère de Guillaume et de Simon Sans-Avoir, tous deux croisés en 1096 et tués à la seconde bataille de Ramla en mai 1102.