Faits :
A.
A.a. Une procédure canonique a été ouverte à l'encontre de X._, ancien curé à D._ et membre de E._, suite aux dénonciations de F._ et G._ pour des actes à caractère sexuel.
A.b. Dans le cadre du procès administratif pénal relevant du Code de droit canonique diligenté contre l'intéressé, divers témoins ont été entendus parmi lesquels H._, membre des soeurs apostoliques de E._ à D._. J._, psychiatre, a été mandaté pour effectuer une expertise médico-psychiatrique de l'intéressé sur la base du dossier.
A.c. Par décret du 8 novembre 2010, le Collège des juges de l'Officialité du Diocèse de Lausanne, Genève et Fribourg, composé du Père A._, du Père B._ et de l'Abbé C._, a reconnu X._ "coupable des faits qui lui sont reprochés et notamment d'abus sexuels sur des personnes de sexe féminin sous direction spirituelle, d'incitation à actes sexuels durant la confession, d'absolution du complice dans la mesure où il confessait les personnes sur lesquelles il commettait des abus". Mgr K._, évêque auxiliaire et administrateur diocésain, a par votum du 3 décembre 2010 indiqué à la Congrégation pour la Doctrine de la Foi (ci-après : la Congrégation) faire siennes les conclusions du décret et partant préconiser d'infliger à X._ une peine perpétuelle tendant à l'écarter définitivement de tout ministère sacerdotal par une mesure de renvoi de l'état clérical. Le 4 février 2011, la Congrégation a ordonné la démission de l'intéressé de l'état clérical. Statuant sur recours de X._, la Session ordinaire de la Congrégation a décidé, le 13 décembre 2012, de modifier le décret du 4 février 2011 notamment en substituant la peine de démission par l'imposition d'un remède pénal à l'égard de l'intéressé et par le prononcé de "restrictions opportunes à l'exercice du ministère afin de protéger le bien des fidèles". En substance, elle a considéré que la certitude morale relative à deux des délits n'était pas atteinte et que le dernier délit était désormais prescrit.
A.d. Parallèlement à la procédure canonique, une procédure pénale étatique a été ouverte à l'encontre de X._ auprès des autorités genevoises sur dénonciation du 21 janvier 2008 de l'ancien Official du diocèse de M._, D._ et N._, L._. Cette procédure a abouti à une ordonnance de classement prononcée le 25 septembre 2008 en raison de la prescription des infractions dénoncées, les faits incriminés remontant à 1991 et 1992. La Chambre d'accusation de la République et canton de Genève a déclaré irrecevable le recours de l'intéressé, qui visait à obtenir un non-lieu, contre cette ordonnance, décision confirmée par le Tribunal fédéral (arrêt 6B_1000/2008 du 19 mars 2009). Un recours est pendant devant la Cour européenne des droits de l'homme contre cet arrêt.
B.
B.a. Le 1er juin 2012, X._ a déposé des plaintes pénales pour calomnie, respectivement complicité de calomnie, subsidiairement diffamation, à l'encontre notamment, de H._ et divers autres témoins, du psychiatre J._, de A._, de B._, de C._, de K._ et de L._. Ces plaintes ont donné lieu à des procédures distinctes.
Il reproche en particulier à L._ d'avoir participé activement en vue de lui nuire à l'élaboration du décret du 8 novembre 2010 dont il soutient en substance que le contenu est hautement mensonger et calomnieux.
B.b. Par ordonnance du 7 mars 2013, le Ministère public a refusé d'entrer en matière sur la plainte concernant L._.
B.c. Par arrêt du 11 décembre 2013, la Chambre pénale du Tribunal cantonal du canton de Fribourg a rejeté le recours formé par X._ contre cette décision, sous suite de frais à la charge du recourant. Elle a relevé qu'aucun élément concret au dossier ou dans la plainte pénale n'indiquait que L._ avait participé activement à l'élaboration du décret.
C.
X._ recourt au Tribunal fédéral contre cet arrêt dont il demande l'annulation. Il conclut à ce que soit ordonnée l'ouverture d'une instruction pour calomnie, subsidiairement diffamation, voire d'instigation ou de complicité de ces infractions à l'encontre de L._.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 138 III 46 consid. 1 p. 46).
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO, mais aussi celles qui visent toute satisfaction ou protection offerte par le droit privé (ATF 127 IV 185 consid. 1a p. 187). Les mêmes exigences sont requises à l'égard de celui qui se plaint d'infractions attentatoires à l'honneur, la jurisprudence rendue avant l'entrée en vigueur de la LTF (cf. ATF 121 IV 76) qui dispensait celui qui était lésé par une prétendue atteinte à l'honneur de faire valoir des prétentions civiles, n'a plus cours (arrêt 6B_94/2013 du 3 octobre 2013 consid. 1.1). En particulier, l'allocation d'une indemnité pour tort moral fondée sur l'art. 49 al. 1 CO suppose que l'atteinte présente une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne, dans ces circonstances, s'adresse au juge pour obtenir réparation (ATF 131 III 26 consid. 12.1 p. 29; arrêt 1B_648/2012 du 11 juillet 2013 consid. 1.2).
Selon l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (ATF 138 III 537 consid. 1.2 p. 539; 133 II 353 consid. 1 p. 356). Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles (ATF 137 IV 246 consid. 1.3.1 p. 248). Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au Ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (ATF 137 IV 219 consid. 2.4 p. 222 s.).
1.2. En l'espèce, le recourant soutient uniquement qu'il aurait "bien évidemment" des prétentions civiles à faire valoir contre l'intimé dans l'hypothèse où la procédure se poursuivrait dans la mesure où il se considère atteint dans son honneur et qu'il a des prétentions en réparation du tort moral subi. Il indique avoir été totalement anéanti par les déclarations des témoins à la procédure canonique dont il a été l'objet et par la motivation du décret issu de celle-ci. De telles affirmations qui ne sont étayées en aucune manière ne suffisent pas à satisfaire aux exigences de motivation requises. Le recourant n'explique pas précisément en quoi consiste l'atteinte, pas plus que son importance. De surcroît, il indique que, par décision du 13 mars 2013, le Tribunal des prud'hommes de Genève lui a alloué une indemnité pour tort moral à charge de l'Eglise catholique romaine, faute pour cette dernière de l'avoir protégé dans sa personnalité. Il n'expose d'aucune manière en quoi consisterait le tort moral non réparé qui subsisterait. Aussi, l'absence de toute explication circonstanciée, dans la configuration d'espèce, suffit pour exclure sa qualité pour recourir. Il s'ensuit que le recours est irrecevable en tant qu'il porte sur le fond de la cause. Le recourant ne fait pour le surplus valoir aucune violation de ses droits procéduraux.
1.3. Le recourant succombe. Il supporte les frais de la procédure (art. 66 al. 1 LTF). Il n'est pas alloué de dépens.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 10 septembre 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Mathys
Le Greffier : Vallat