Breteuil ble født på slottet inn i en aristokratisk familie med gode forbindelser. En av hans slektninger var skriftefar for kongens nevø, og en annen var den ledende kvinnelige matematiker og lingvist Émilie, marquise du Châtelet-Laumont. Breteuil fikk utdannelse i Paris og gikk senere inn i hæren, og var som offiser med under Syvårskrigen.