Faits :
A.
A.a. Par décision du 3 octobre 2013, la Justice de paix a désigné le notaire A._ comme curateur pour intervenir dans le partage de la succession du père de X._ en lieu et place de ce dernier.
X._ est ami de E.D._. Ce dernier est le fils de F.D._ et G.D._, qui ont eu deux autres enfants, D.D._ et C.B._. Celle-ci a géré les affaires administratives et financières de sa mère, âgée aujourd'hui de plus de 95 ans, depuis le décès de son père en 2006 jusqu'à fin 2013. En 2014, cette tâche a été confiée à H._ SA, dont l'un des administrateurs est I._.
A.b. Le 8 mai 2016, C.B._ a envoyé, depuis la boîte de messagerie de son époux B.B._, un courriel à I._ critiquant X._, le traitant notamment d'escroc et citant des propos imputés à Me A._. I._ a adressé cet e-mail à E.D._, qui l'a transmis à X._.
X._ a déposé plainte pénale contre les époux B._ et Me A._ pour calomnie, subsidiairement diffamation et, pour ce dernier, également violation de son secret professionnel.
A.c. Le 12 avril 2015, C.B._ et D.D._ ont adressé une lettre à E.D._ dans laquelle il qualifiait notamment X._ d'escroc.
Lors d'une audience du 2 mars 2017 dans le cadre d'une procédure visant la mise en place d'une mesure de curatelle en faveur de F.D._, D.D._ a indiqué que X._ était peu recommandable, était un ami de son frère E.D._, et pourrait donner des suggestions tant à ce dernier qu'à sa mère qui iraient à l'encontre des intérêts de celle-ci.
Le 6 juin 2017, à réception de ces éléments, X._ a déposé plainte contre C.B._ et D.D._ pour atteinte à l'honneur au sens des art. 173 et 174 CP.
B.
Par ordonnance du 26 juin 2017, le Ministère public de la République et canton de Genève a refusé d'entrer en matière sur les deux plaintes pénales précitées.
C.
Par arrêt du 20 octobre 2017, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a rejeté le recours formé contre cette ordonnance par X._.
En substance, elle a considéré:
- S'agissant des accusations portées contre le notaire A._, X._ n'avait pas la qualité pour recourir contre la décision de non-entrée en matière en ce qu'elle concerne l'accusation de violation du secret professionnel. Pour le surplus, la réalité des accusations portées contre ce notaire était impossible à prouver de sorte qu'une non-entrée en matière se justifiait pour ce mis en cause.
- Quant au courrier du 12 avril 2015 signé par C.B._ et D.D._, X._ ne critiquait pas le raisonnement du ministère public, qui n'avait par conséquent pas à être réexaminé.
- S'agissant des accusations portées contre les époux B._, il existait une présomption suffisante de commission par eux d'une atteinte à l'honneur au préjudice du X._. Il résultait toutefois du dossier que les relations entre les précités étaient conflictuelles depuis plusieurs années. Dans ce cadre, les intéressés s'exprimaient, lorsqu'ils étaient appelés à décrire l'attitude de l'un d'eux auprès de tiers, en des termes particulièrement virulents et dépréciatifs. Les propos qu'utilisait X._ dans ses plaintes et réplique pour évoquer les agissement des conjoints en étaient l'illustration. Replacé dans ce contexte, le caractère répréhensible des actes incriminés devait donc être sensiblement relativisé. Au vu de ces éléments, du temps écoulé, du fait qu'il n'avait pas été allégué que les époux auraient réitéré leurs agissement et des excuses, respectivement explications fournies par eux, leur faute apparaissait peu importante. Il en allait de même des conséquences de leurs actes, puisque le courriel litigieux n'avait été transmis par eux qu'à I._. Les conditions posées par l'art. 52 CP étaient remplies et cette disposition permettait au ministère public de refuser d'entrer en matière sur les accusations portées contre les époux B._.
- Enfin s'agissant des propos tenus par D.D._ en audience, les termes incriminés, au vu du contexte dans lequel ils avaient été proférés, n'excédaient pas la mesure admissible. En conséquence, une hypothétique diffamation serait justifiée par le devoir procédural d'alléguer (art. 14 CP). Rien ne permettant de considérer que D.D._ aurait eu l'intention de fournir au tribunal de fausses indications relatives à X._ en vue de porter atteinte à son honneur, l'infraction de calomnie n'était pas non plus réalisée et la non-entrée en matière se justifiait également.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à l'autorité précédente pour qu'elle annule l'ordonnance de non-entrée en matière et charge le ministère public de poursuivre l'instruction de la cause. Subsidiairement, il sollicite l'annulation de l'arrêt attaqué et le renvoi de la cause au ministère public pour qu'il l'instruise.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis.
1.1. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO (<ref-ruling> consid. 1.1 p. 4). En vertu de l'art. 42 al. 1 LTF, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même elle aurait déjà déclaré des conclusions civiles (cf. art. 119 al. 2 let. b CPP), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. art. 320 al. 3 CPP). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4).
Ces exigences sont applicables à celui qui se plaint d'infractions attentatoires à l'honneur (arrêt 6B_94/2013 du 3 octobre 2013 consid. 1.1). N'importe quelle atteinte légère à la réputation professionnelle, économique ou sociale d'une personne ne justifie pas une réparation. L'allocation d'une indemnité pour tort moral fondée sur l'art. 49 al. 1 CO suppose que l'atteinte présente une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne dans ces circonstances s'adresse au juge pour obtenir réparation (cf. arrêts 6B_86/2018 du 11 avril 2018 consid. 2.1; 6B_185/2013 du 22 janvier 2014 consid. 2.2 et la jurisprudence citée).
Si la partie plaignante invoque des infractions distinctes, elle doit mentionner par rapport à chacune d'elles en quoi consiste son dommage. Si le dommage n'est motivé qu'en ce qui concerne l'une des infractions, le recours est irrecevable pour les autres (arrêts 6B_874/2017 du 18 avril 2018 consid. 2.2.1; 6B_865/2015 du 10 octobre 2016 consid. 1.1).
1.2. En l'occurrence, le recourant indique limiter son recours au refus d'entrer en matière sur les accusations d'atteintes à l'honneur. Il motive sa qualité pour recourir à cet égard en exposant que " la grave atteinte à l'honneur subie par le recourant du fait des comportements reprochés aux parties visées par la plainte et la faute grave de celles-ci constituent un acte illicite et justifient une réparation civile, en particulier une somme à titre de réparation morale que le recourant est en droit de réclamer dans le cadre du procès pénal, à hauteur de 3'000 fr. ". Le recourant invoque également être en droit de réclamer une juste indemnité pour les dépenses obligatoires occasionnées par la procédure au sens de l'art. 433 CPP.
Les frais d'avocat ne constituent pas des prétentions civiles au sens de l'art. 81 al. 1 let. b ch. 5 LTF (cf. arrêt 6B_1166/2015 du 27 juin 2016 consid. 1.1), susceptibles de fonder la qualité pour recourir auprès du Tribunal fédéral de celui les réclamant.
Pour le surplus, le recourant a déposé deux plaintes pénales contre quatre personnes différentes du fait d'au moins trois comportements distincts. Alors que l'autorité précédente a clairement différencié les comportements litigieux, le recourant n'expose aucunement dans la motivation qui précède, pour aucun de ces comportements, les éléments permettant de retenir que l'un ou l'autre des intimés lui aurait causé, par l'un des comportements litigieux, un préjudice moral suffisant pour donner lieu à indemnité. Le seul fait de l'affirmer globalement et d'articulier un montant ne suffit pas. La motivation qui précède n'est ainsi pas suffisante pour retenir que le recourant aurait qualité pour recourir en matière pénale au regard de l'art. 81 al. 1 let. a et b. ch. 5 LTF.
Dans le cadre de ses griefs au fond, le recourant affirme, sans se référer à aucun élément, que les accusations portées contre lui auraient été communiquées à des tiers, autres que I._, et auraient terni sa réputation auprès de sa famille et des habitants de son village. Le recourant n'établit pas une telle transmission, ni son imputabilité à l'un ou l'autre des intimés, éléments par ailleurs écartés par l'autorité précédente. De telles affirmations ne sauraient suffire à fonder la qualité du recourant pour recourir en matière pénale au regard de l'art. 81 al. 1 let. a et b ch. 5 LTF.
Il s'ensuit que le recourant ne dispose pas de la qualité pour recourir sur le fond.
1.3. Indépendamment des conditions posées par l'art. 81 al. 1 LTF, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 1.1 p. 5).
Le recourant invoque que le ministère public aurait procédé à des actes d'instruction de sorte qu'il ne pouvait plus rendre une ordonnance de non-entrée en matière, eu égard à l'art. 310 al. 1 CPP qui exige qu'une telle ordonnance soit rendue immédiatement. Il conclut que le ministère avait déjà commencé à instruire. Il avait donc des soupçons suffisants sur l'existence d'une infraction. L'autorité précédente aurait donc dû constater ces faits et enjoindre au ministère public de poursuivre l'instruction du dossier et non de prononcer une non-entrée en matière à ce stade déjà avancé de l'instruction. Le recourant reproche à l'autorité cantonale de n'avoir pas examiné ce grief pourtant dûment invoqué devant elle.
Dans la mesure où le recourant tente par là d'obtenir que la procédure soit continuée et d'autres mesures d'instruction prises par le ministère public, il s'en prend au fond de la cause, ce qu'il ne peut faire faute de qualité pour recourir au sens de l'art. 81 al. 1 ch. 5 LTF. Pour le surplus, il ne démontre pas quel préjudice il aurait subi du fait que le traitement de sa plainte a été clos par une ordonnance de non-entrée en matière plutôt que par une ordonnance de classement et cela n'est pas visible. Le recourant ne dispose d'aucun intérêt juridiquement protégé à cet égard et son grief est par conséquent irrecevable.
1.4. Le recourant ne fait pas valoir une violation de son droit de porter plainte (cf. art. 81 al. 1 let. a et b ch. 6 LTF), ni une atteinte à un autre droit procédural entièrement séparé du fond, qui aurait pu lui conférer la qualité pour former un recours en matière pénale sur ces points.
2.
Au vu de ce qui précède, le recours doit être déclaré irrecevable selon la procédure simplifiée prévue par l'art. 108 al. 1 let. a LTF, aux frais du recourant qui succombe.

Par ces motifs, le Président prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 7 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod