Père Joseph entstammte einer dem Amtsadel "(noblesse de robe)" angehörenden französischen Familie: Sein Vater Jean Le Clerc du Tremblay amtierte als Kanzler des vierten Sohns von König Heinrich II., Hercule-François d’Alençon (* 1554; † 1584) und Premier Président des Requêtes au Parlement de Paris (Erster Präsident der Eingabekammer am Pariser Parlament, einem Gericht), dessen Mutter aus dem byzantinischen Kaiserhaus Palaiologos stammte, während sein Vater der italienischen Linie der Gonzaga angehörte. Père Josephs Mutter Marie Motier de La Fayette stammte aus einer Familie des Landadels: Ihr Vater Claude de La Fayette verfügte über vier Baronien. Eine davon erbte Enkel François-Joseph, was ihm am Hof des französischen Königs vor seinem Eintritt in den Kapuzinerorden den Titel "Baron de Maffliers" eintrug. Er erhielt eine ausgezeichnete klassische Bildung und unternahm 1595 eine ausgedehnte Reise nach Italien. 1597 nahm er an der Belagerung von Amiens teil. Im Gefolge eines entfernten Verwandten, des Diplomaten Hurault de Maisse, reiste er im gleichen Jahr nach London.