Faits :
A.
X._ a mal vécu la fin de la relation sentimentale qu'il a entretenue avec A.A._, ex-épouse de B.A._, mère de C.A._, devenue amie de D._, auxquels il reproche d'avoir participé à un " rapt familial " suivi d'une forme de séquestration clanique et sectaire de son ex-compagne. Plusieurs procédures judiciaires sont issues de la rupture survenue fin mai 2013.
Par ordonnances du 16 septembre 2015, le Ministère public de l'Etat de Fribourg a classé des plaintes déposées par X._ contre B.A._, C.A._, A.A._ et D._ pour dénonciation calomnieuse, diffamation et lésions corporelles simples.
B.
Par arrêt du 18 août 2016, statuant sur les quatre recours de X._ contre les ordonnances de classement, la Chambre pénale du Tribunal cantonal fribourgeois les a rejetés dans la mesure de leur recevabilité. Elle a par ailleurs rejeté la demande de récusation " des membres de la Chambre pénale qui ont participé aux procédures pénales et civiles antérieures qui ont fait l'objet d'un recours au TF ". La requête d'assistance judiciaire de X._ a été rejetée et les frais de procédure, arrêtés à 900 fr., ont été mis à sa charge.
En substance, les probabilités d'acquittement des prévenus de dénonciation calomnieuse (art. 303 ch. 1 CP) et de diffamation (art. 173 CP) étaient bien supérieures à celles d'une condamnation. Il en allait de même de la plainte pour lésions corporelles simples (art. 123 CP) à l'encontre d'A.A._ en raison d'un jet de spray au poivre. Enfin, les plaintes pour lésions corporelles simples déposées contre C.A._ et D._ avaient été retirées lors de l'audition du 10 mars 2015.
C.
X._ forme un recours auprès du Tribunal fédéral contre l'arrêt du 18 août 2016. En bref, il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale. Il conclut également à l'annulation des quatre ordonnances de classement. Il sollicite le bénéfice de l'assistance judiciaire.
Il n'a pas été ordonné d'échange d'écriture.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 142 IV 196 consid. 1 p. 197).
Le recourant ne saurait exiger une certaine composition de la Cour de céans, l'organisation du Tribunal fédéral relevant de la compétence du Tribunal fédéral lui-même (cf. art. 13 LTF) et les règlements édictés sur la base de l'art. 15 al. 1 let. a LTF ne conférant aucun droit aux parties (cf. également art. 20 LTF).
1.1. La conclusion du recourant tendant à l'annulation des quatre ordonnances de classement est irrecevable, puisqu'elles ne portent pas sur une décision prise par une autorité de dernière instance (art. 80 al. 1 LTF).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO (ATF 141 IV 1 consid. 1.1 p. 4).
En vertu de l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (ATF 141 IV 1 consid. 1.1 p. 4 et les références citées).
1.3. Parmi les 55 pages de recours, le recourant ne fait à aucun moment valoir de prétentions civiles. De telles prétentions ne découlent d'ailleurs aucunement des infractions dénoncées. Il est précisé que les frais liés aux démarches judiciaires de la partie plaignante ne sauraient constituer des prétentions civiles au sens de l'art. 81 al. 1 let. a et b ch. 5 LTF en tant qu'ils ne découlent pas directement de l'infraction (arrêts 6B_1266/2016 du 4 août 2017 consid. 1.3; 6B_928/2016 du 28 mars 2017 consid. 1.2). Le recourant ne dispose ainsi pas de la qualité pour recourir sur le fond de la cause.
Faute de qualité pour recourir sur le fond, les innombrables allégations en lien avec les infractions que le recourant dénonce sont irrecevables. Il en va de même en tant qu'il invoque une violation des art. 9 CPP, 139 CPP, 303 CP, 6 CEDH et qu'il prétend être victime de déni de justice, d'abus d'autorité, d'une violation de son droit d'être entendu et de formalisme excessif pour refus d'instruction sur ses dénonciations. C'est également en vain qu'il s'en prend au rôle du procureur, tel qu'institué par le CPP et aux dispositions relatives au classement, en affirmant notamment que cette conception est " contraire à l'ancien système français ".
1.4. Il ne sera pas entré en matière sur les griefs dirigés contre les arrêts du 4 décembre 2013, 18 mars 2014, 18 août 2014 et 30 octobre 2014, et toutes autres décisions qui ne font pas l'objet de la présente procédure. C'est le cas notamment des griefs que le recourant invoque en lien avec les plaintes dirigées contre lui (cf. notamment, mémoire de recours, p. 16 s.; 20 s.; 38; 44 s.), celles-ci ne faisant pas l'objet de la présente procédure.
Le recourant est irrecevable à contester l'indemnité pour frais de défense (cf. art. 429 CPP) allouée à chaque prévenu en tant que bénéficiaire de l'ordonnance de classement (cf. art. 80 al. 1 LTF), étant précisé qu'il n'en a pas été déclaré débiteur.
2.
La partie plaignante - indépendamment des conditions posées à l'art. 81 al. 1 ch. 5 ou 6 LTF - est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (ATF 141 IV 1 consid. 1.1 p. 5). Il en va notamment ainsi du droit à l'assistance judiciaire (arrêt 1B_450/2015 du 22 avril 2016 consid. 1.2 et les arrêts cités).
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (cf. art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. La notion d'arbitraire a été rappelée récemment dans l'arrêt publié aux ATF 142 II 369 consid. 4.3 p. 380, auquel on peut se référer.
2.2. Constatant la prolixité et le manque de clarté dans les griefs formulés dans le recours cantonal, la cour cantonale a indiqué qu'elle n'examinerait que les questions décisives pour l'issue du litige, à savoir, la légitimité du classement (cf. arrêt entrepris, ch. 4; outre la récusation, ch. 1). Le recourant y voit une violation de son droit d'être entendu (défaut de motivation), de la bonne foi et des devoirs d'objectivité et d'impartialité (art. 6 CEDH; art. 5, 9, 29a et 30 Cst.). Or, de jurisprudence constante, le juge n'a pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut se limiter à l'examen des questions décisives pour l'issue du litige (ATF 139 IV 179 consid. 2.2 p. 183).
Le recourant ne formule pas de grief recevable sous l'angle des art. 42 al. 2 et 106 al. 2 LTF sur ce point. En particulier, il ne tente pas de démontrer dans quelle mesure, la question décisive ne concernait pas exclusivement la légitimité du classement, outre celle de la récusation.
2.3. Le recourant s'en prend à la " dissociation ", par le Ministère public, de la procédure pénale dirigée contre ceux qu'il dénonce ( " le clan A._ ") de celle ouverte à son encontre. Il fait valoir un déni de justice. Il ne ressort pas de l'arrêt entrepris que le recourant aurait invoqué ce grief dans son recours cantonal, le recourant ne le prétend d'ailleurs pas. Ainsi, ce grief d'ordre procédural, invoqué pour la première fois devant le Tribunal fédéral, est irrecevable (cf. ATF 140 I 271 consid. 8.4.3 p. 275; 138 I 1 consid. 2.2. p. 4 et art. 80 al. 1 LTF). En tout état, le recourant n'expose d'aucune manière en quoi le traitement séparé de ces affaires constituerait un déni de justice (cf. art. 106 al. 2 LTF). Ainsi, c'est en vain qu'il fait valoir un défaut de compétence ratione loci des autorités fribourgeoises pour instruire les plaintes pénales déposées contre lui, lesquelles ne font pas l'objet de la présente procédure.
2.4. Le recourant conteste le montant des frais et le refus d'assistance judiciaire. Il reproche à la cour cantonale une violation de l'art. 29 al. 3 Cst., une violation de son droit d'être entendu et un déni de justice.
2.4.1. L'art. 136 CPP concrétise les conditions d'octroi de l'assistance judiciaire pour la partie plaignante dans un procès pénal. Cette norme reprend les trois conditions cumulatives découlant de l'art. 29 al. 3 Cst., à savoir l'indigence, les chances de succès et le besoin d'être assisté. Il est renvoyé à la jurisprudence topique s'agissant notamment des critères déduits de l'art. 29 al. 3 Cst. pour juger de la nécessité de la désignation d'un conseil juridique au lésé (cf. arrêt 1B_450/2015 du 22 avril 2016 consid. 2.2 s.).
A teneur de l'art. 428 al. 1 CPP, les frais de la procédure de recours sont mis à la charge des parties dans la mesure où elles ont obtenu gain de cause ou succombé. La partie dont le recours est irrecevable ou qui retire le recours est également considérée avoir succombé.
2.4.2. La cour cantonale a refusé d'octroyer l'assistance judiciaire au recourant et de lui désigner un avocat d'office au vu du sort de ses griefs et retenant notamment que, détenteur d'un brevet d'avocat, il disposait de connaissances juridiques suffisantes pour faire valoir ses droits, ce qu'il prétendait d'ailleurs à réitérées reprises dans son mémoire (arrêt entrepris, ch. 7a).
Les frais de justice ont été imputés au recourant en vertu de l'art. 428 al. 1 CPP et fixés selon le tarif prévu aux art. 33 ss du règlement fribourgeois du 30 novembre 2010 sur la justice (RJ/FR; RS 130.11, arrêt entrepris, ch. 7a).
2.4.3. Le recourant ne formule aucun grief recevable sous l'angle de l'art. 42 al. 2 LTF, notamment lorsqu'il se dit victime d'un " racket judiciaire au niveau des frais ". Contrairement à ce qu'il prétend, l'indigence ne suffit pas, à elle seule, pour le soustraire au paiement des frais judiciaires. Pour le surplus, il ne tente pas de démontrer l'arbitraire dans l'application du droit cantonal quant au montant, fixé à 900 francs.
Il ressort sans ambiguïté de l'arrêt entrepris que l'assistance judiciaire et la désignation d'un défenseur d'office ont été refusés faute de chances de succès, la cause ne présentant pas de difficulté justifiant l'intervention d'un avocat, ce d'autant que le recourant était détenteur du brevet. Il ne saurait faire valoir une violation de son droit d'être entendu à cet égard et il ne formule aucun grief recevable sur le refus de l'assistance judiciaire (art. 42 al. 2 LTF).
3.
Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir sur cette question, en vertu de l'art. 81 al. 1 LTF.
3.1. Selon l'art. 56 CPP, toute personne exerçant une fonction au sein d'une autorité pénale est tenue de se récuser notamment lorsqu'elle a un intérêt personnel dans l'affaire (let. a), lorsqu'elle a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin (let. b) ou lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil juridique, sont de nature à la rendre suspecte de prévention (let. f). D'une manière générale, un juge ne peut pas être récusé pour le simple motif que, dans une procédure antérieure, il s'était déjà occupé de la partie qui comparaît devant lui, même s'il avait tranché en défaveur de celle-ci (ATF 129 III 445 consid. 4.2.2.2 p. 466 et les références citées; arrêts 6B_933/2015 du 22 juin 2016 consid. 4.1; 1B_362/2015 du 10 décembre 2015 consid. 3.2.1).
Le magistrat dont la récusation est formellement et valablement requise ne saurait en principe statuer lui-même sur sa propre récusation (ATF 122 II 471 consid. 3a p. 476 et les références citées). La jurisprudence admet toutefois une exception à ce principe, en particulier en présence d'une demande de récusation abusive ou manifestement mal fondée, permettant à l'autorité de se prononcer sur sa propre récusation (cf. ATF 129 III 445 consid. 4.2.2 p. 264; arrêt 6B_933/2015 du 22 juin 2016 consid. 4.1 et les arrêts cités).
3.2. La cour cantonale a constaté que la demande de récusation " des membres de la Chambre pénale qui ont participé aux procédures pénales et civiles antérieures qui ont fait l'objet de recours au TF " était manifestement mal fondée et l'a rejetée. Elle a notamment relevé que l'arrêt du Tribunal fédéral dont le recourant inférait qu'il démontrait la prévention des magistrats à son égard n'avait pas la portée qu'il lui prêtait. Elle a également retenu que le recourant était habitué à demander la récusation de tout intervenant judiciaire dont les actes n'allaient pas dans le sens qu'il souhaitait (arrêt entrepris, ch. 1b).
3.3. Le recourant ne s'en prend pas à la motivation cantonale, notamment au caractère mal fondé de sa requête de récusation. Au contraire, il s'obstine à s'en prendre à tous les magistrats (procureurs, juges de première et deuxième instance) et livre une appréciation personnelle de leurs mauvaises intentions en énumérant toute une série de faits (certains datant de plus de 20 ans) dont il déduit un rapport d'inimitié. Un tel procédé est irrecevable sous l'angle de l'art. 42 al. 2 LTF.
En tant que le recourant s'en prend aux critères de récusation fixés dans le CPP et à la jurisprudence y relative, il ne formule pas de grief recevable contre la décision cantonale. Le recourant dénonce " l'hypocrisie du système judiciaire " permettant aux juges de statuer sur leur propre récusation, dès lors qu'ils n'admettront jamais avoir commis des fautes particulièrement lourdes ou répétées. Ce faisant il omet qu'en principe il n'appartient pas au magistrat concerné de statuer lui-même sur sa propre récusation mais que sa requête réalisait l'exception à ce principe (cf. supra consid. 3.1).
S'agissant de la participation du Juge Delabays à une décision de séquestre d'armes blanches en lien avec des menaces (cf. arrêt 1B_412/2013 du 16 avril 2014), le recourant ne se prévaut pas d'un motif de récusation au sens de l'art. 56 CPP. Le simple fait d'avoir tranché en défaveur d'une partie dans une autre procédure antérieure n'étant pas un motif de récusation (cf. supra consid. 3.1). La notion de " même cause " au sens de l'art. 56 let. b CPP implique une identité de parties, de procédure et de questions litigieuses (cf. arrêt 1B_362/2015 du 10 décembre 2015 consid. 3.2.1 et les arrêts cités), les deux derniers critères à tout le moins n'étant pas réalisés en l'espèce.
Le recourant reprend certains passages des décisions qu'il conteste et y perçoit des insultes à son intelligence et y voit des preuves de partialité (art. 6 CEDH). Il qualifie les autorités pénales de " Kremlin fribourgeois "et dénonce un abus de pouvoir de leur part et un " formalisme illégal ". Un tel procédé est irrecevable (art. 42 al. 2 LTF).
C'est en vain que le recourant prétend, à ce stade, que le procureur aurait fait preuve de partialité et suggère sa récusation (cf. notamment ATF 140 I 271 consid. 8.4.3 p. 275; 138 I 1 consid. 2.2. p. 4 et art. 80 al. 1 LTF).
4.
Le recours doit être rejeté dans la faible mesure de sa recevabilité. Comme le recours était voué à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais judiciaires (art. 66 al. 1 LTF), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (art. 65 al. 2 LTF). La cause étant jugée, la demande d'effet suspensif devient sans objet.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 26 septembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke