Se desposó con Jeanne Esmonyat, de la que tuvo dos hijos: Philibert Orry, superintendente de finanzas, y Jean-Henri-Louis Orry, fundador de la manufactura de Sèvres, y una hija que se casó con el señor de la Galaizière, canciller del rey de Polonia, duque de Lorera y de Bar.