Geoffrey kom fra, som hans navn indikerer, fra Montbray i dagens franske departement Manche, nærmere bestemt Saint-Lô i dagens region Basse-Normandie, innenfor det daværende hertugdømmet Normandie. Han kom fra en adelsfamilie, men dens opprinnelse er uklar. Orderic hevdet at Robert de Montbray, jarl av Northumberland, var hans nevø, noe som har ført til den antagelse at Roger de Montbray var hans bror. Forfatteren av De statu, en kannik ved katedralen ved navn John, har kommet med ytterligere informasjon om Geoffreys andre søsken, og ikke bare på navnene til hans søstre, men også navngir en bror, Mauger, eller Malger.