Джон происходил из англо-нормандского рода Маршалов. Первым достоверно известным представителем семьи является Гилберт (умер до 1130), который, согласно «Истории Уильяма Маршала», был сыном или зятем Гилберта Жиффара. Последний переселился из Нормандии в Англию или во время Нормандского завоевания, или вскоре после него, и, согласно Книге Страшного суда (1086 год), имел владения в будущем графстве Уилтшир на западе королевства. «"Constitutio Domus Regis"» называет Гилберта главным маршалом королевского двора Генриха I. Имя его жены неизвестно, возможно, она была наследницей Уильяма Фиц-Ожера. У Гилберта известно двое сыновей: младший, Уильям Жиффар (умер после 1166), в 1141—1142 годах был канцлером королевы Матильды, а старший, Джон Фиц-Гилберт (умер в 1165), унаследовал от отца должность маршала. Джон принимал участие в гражданской войне в Англии (сначала на стороне Стефана Блуасского, затем на стороне Матильды), благодаря чему получил ряд владений. Во время правления Генриха II Джон сохранил большую часть своих приобретений, а должность главного маршала стала наследственной в его семье; именно от неё возникло родовое прозвание — "Маршал". Позже Джон попал в опалу и не играл серьёзной роли в английской политике, однако в 1164 году он начал тяжбу против архиепископа Кентерберийского Томаса Беккета, которой воспользовался король, чтобы изгнать архиепископа из Англии.