Jacques Bretel de Grémonville est le de Raoul Bretel († 1640), président à mortier dit le « président de Grémonville » et d'Isabeau Grouart. Bien qu'issu d'une famille normande de robe, il fait carrière comme plusieurs de ses frères dans la diplomatie et les armes. Il est en effet le cadet de Nicolas Bretel († 1648) qui obtient l'érection de la seigneurie familiale en Marquisat et qui fut ambassadeur à Rome et à Venise (1643-1647) de François, tué au second siège de Lérida en 1647 et de Louis, seigneur de La Chapelle tué à la seconde bataille de Nördlingen .