Warum der König Geoffrey so offen benachteiligte, ist nicht genau geklärt. Geoffrey hatte in erster Ehe Matilda, eine Tochter des ostenglischen Barons Robert FitzWalter geheiratet. Ihr Vater war ein Gegner der Politik des Königs und musste 1212 ins Exil nach Frankreich flüchten. Geoffreys Frau starb aber bereits 1212. Sie wurde in "Dunmow Priory" in Essex bestattet. Am 20. Januar 1214 heiratete Geoffrey in zweiter Ehe Isabel von Gloucester, die Tochter von William FitzRobert, 2. Earl of Gloucester und geschiedene erste Frau von König Johann. Geoffrey durfte die Ex-Frau des Königs nur zu außergewöhnlichen Bedingungen heiraten. Er musste dem König eine hohe Gebühr von 20.000 Mark (etwa £ 13.666) in vier Raten zu je 5000 Mark zahlen. Dabei war die letzte Rate bereits Ende September 1214 fällig. Sollte Geoffrey mit der Zahlung in Verzug kommen, hatte der König das Recht, Isabels Ländereien für sich zu behalten. Die hohe Gebühr war auch für einen reichen Earl unmöglich zu zahlen und hätte zu Geoffreys Ruin geführt. Zwar zahlte er fristgerecht die erste Rate, doch nachdem König Johann im Februar 1214 zu seinem Feldzug ins Poitou aufgebrochen war, unterließ er weitere Zahlungen. Der König befahl seinen Beamten daraufhin, die Ländereien Isabels zu besetzen, worauf Geoffrey im August weitere Zahlungen leistete. Daraufhin übergab ihm der König die "Honour of Gloucester", den Hauptteil von Isabels Erbe. Allerdings entzog er ihm die Kontrolle und die beträchtlichen Einkünfte aus der Stadt Bristol. Dennoch umfasste Geoffreys Besitz 1214 über 261 Knight’s fee.