Жоффруа был старшим сыном Жана де Виллардуэн, сира де Брандонвилье, и Селины де Бриэль. Он женился на некой Елизавете. Жоффруа был племянником маршала и летописца Жоффруа де Виллардуэна, и вместе с дядей отправился в Четвёртый крестовый поход.