Wahrscheinlich diente Geoffrey als Knappe in einer mit seinem Vater verwandten französischen Familie, vermutlich der Familie "Fiennes" in der Picardie, als sein Vater sich Anfang 1322 nach einer gescheiterten Rebellion dem englischen König Eduard II. ergeben musste. Der König ließ auch die Familien der Rebellen verhaften, doch da Geoffrey in Frankreich war, entging er, anders als seine Brüder, einer Verhaftung. Nach dem damaligen französischen Erbrecht durften Jugendliche bereits mit vierzehn Jahren ihr Erbe übernehmen, so dass Geoffrey nach dem Tod seiner Großmutter 1323 in den Besitz der französischen Herrschaften Couhé, Peyrat, Pontarion, Salles und Genté kam. Für diese Besitzungen huldigte er vor Ende 1323 als Seigneur dem französischen König Karl IV.