Джон происходил из небогатого англо-нормандского рода. Его отец, согласно «Истории Уильяма Маршала», был сыном или зятем Гилберта Жиффара, который переселился из Нормандии в Англию или во время Нормандского завоевания, или вскоре после него, и, согласно Книге Страшного суда (1086 год), имел владения в будущем графстве Уилтшир на западе Англии. «"Constitutio Domus Regis"» называет Гилберта главным маршалом королевского двора Генриха I. Имя матери Джона неизвестно. Возможно она была наследницей Уильяма Фиц-Ожера. Также у Джона был младший брат Уильям Жиффар (ум. после 1166), который в 1141—1142 годах был канцлером королевы Матильды.