Жоффруа происходил из англо-нормандского рода Мандевилей, первым достоверно известным представителем которого был его дед, Жоффруа (I) де Мандевиль — участник нормандского завоевания Англии. Согласно «Книге Страшного суда» в 1086 году Жоффруа I владел землями, приносившие ему ежегодный доход в 740 фунтов, которые были сосредоточены в Эссексе, Мидлсексе и Хартфордшире, а также в семи других графствах. Таким образом он входил в число наиболее крупных земельных магнатов Англии, занимая по доходам 11 место среди немирян. Также Жоффруа занимал должности констебля Тауэра и был шерифом Эссекса, Лондона, Миддлсекса и Хартфордшира.