Faits :
A.
Le 16 mai 2014, X._ a déposé plainte pénale pour diffamation contre A._ et B._, respectivement chef de section et juriste à l'Office de l'assurance-invalidité du canton de Fribourg. A l'appui de sa plainte, il a considéré que ces personnes avaient, dans les observations déposées au Tribunal cantonal à la suite de son recours dans une procédure AI, porté atteinte à son honneur en prétendant qu'il se faisait entretenir par les assurances sociales et qu'il avait eu peu de transparence dans ses affaires, en doutant de la véracité d'une agression dont il avait été victime et en lui imputant la volonté de frauder les assurances sociales.
B.
Par ordonnance du 25 juin 2014, le Ministère public du canton de Fribourg a décidé de ne pas entrer en matière.
C.
Par arrêt du 8 octobre 2014, la Chambre pénale du Tribunal cantonal de l'Etat de Fribourg a rejeté le recours formé par X._ contre l'ordonnance précitée.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral, si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles.
Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law>. Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s.). Les mêmes exigences sont requises à l'égard de celui qui se plaint d'infractions attentatoires à l'honneur, la jurisprudence rendue avant l'entrée en vigueur de la LTF, qui dispensait celui qui était lésé par une prétendue atteinte à l'honneur de faire valoir des prétentions civiles (<ref-ruling>), n'ayant plus cours (arrêt 6B_94/2013 du 3 octobre 2013 consid. 1.1).
De jurisprudence constante, des prétentions de droit public ne peuvent être invoquées dans le procès pénal par voie d'adhésion et ne constituent dès lors pas des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (<ref-ruling> consid. 3.1 p. 88; <ref-ruling> consid. 2.2 p. 191).
1.2. Le recourant allègue qu'il pourrait prendre des conclusions civiles à hauteur de 5'000 fr. en réparation du tort moral. Il expose, sans l'étayer, que les déterminations de l'office AI au Tribunal cantonal ont augmenté l'atteinte à sa santé, déjà mise à mal par le refus de l'AI de lui octroyer un troisième train de mesures socioprofessionnelles. Il indique ne pouvoir admettre que l'on s'en prenne à son intégrité.
La question de savoir si l'atteinte invoquée par le recourant revêt la gravité objective et subjective exigée par la jurisprudence pour ouvrir le droit à une indemnité pour tort moral (cf. arrêt 6B_1104/2013 du 5 juin 2014 consid. 4.2 non publié à l'<ref-ruling>; <ref-ruling> consid. 12.1 p. 29) peut rester ouverte au vu de ce qui suit.
Le recourant a dirigé sa plainte contre deux employés d'un office AI, pour des observations qu'ils auraient formulées au nom dudit office dans le cadre d'une procédure auprès du Tribunal cantonal. Il n'expose toutefois pas en quoi les prétentions en réparation évoquées pourraient être réclamées directement aux intimés et reposeraient sur le droit privé et non sur du droit public (cf. art. 54 et 59a LAI; <ref-law>). Cela n'a rien d'évident. Faute de toute motivation sur ce point dans le recours, la qualité pour recourir fondée sur l'<ref-law> ne peut être reconnue au recourant.
2.
Le recours est irrecevable, faute de qualité pour recourir. Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant doit donc supporter les frais (<ref-law>), dont le montant sera fixé en tenant compte de sa situation financière.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 7 mai 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod