Le , âgé de 18 ans, il épouse Catherine de Nogaret de La Valette, âgée de 15 ans, sœur du duc d'Épernon. Leur fille, Henriette-Catherine de Joyeuse, naît au Louvre le . La mort de Catherine, le , convainc le jeune homme de devenir capucin, le , sous le nom de "père Ange". se précipite au couvent des Capucins, et, découvrant son ancien favori « la tête rasée et les pieds nus, peu s'en fallut qu'il ne tombât pasmé à la renverse ». Le suivant deux de ses frères tombent à la Bataille de Coutras.