En 1324 el padre de Geoffrey, John, fue raptado por una tía suya que tenía la esperanza de casarlo con su hija con el fin de mantener una propiedad en Ipswich.