Faits:
A.
Le 29 novembre 2012, B.X._ et C.X._ ont saisi le Tribunal tutélaire (depuis le 1er janvier 2013: Tribunal de protection de l'adulte et de l'enfant, ci-après: Tribunal de protection) d'une demande de mise sous tutelle de leur frère A.X._ pour troubles psychiques. En raison des propos tenus dans le courrier adressé au Tribunal de protection, A.X._ a déposé plainte pénale contre son frère et sa soeur, le 28 janvier 2013, pour diffamation (art. 173 CP), calomnie (art. 174 CP), injures (art. 177 CP) et violation du secret privé (art. 179 CP).
Par ordonnance du 3 avril 2013, le Ministère public du canton de Genève a refusé d'entrer en matière sur les faits visés par la plainte pénale dirigée contre le frère et la soeur du recourant.
B.
Par arrêt du 5 juin 2013, la Chambre pénale de recours de la Cour de justice de Genève a rejeté le recours formé par A.X._ contre l'ordonnance de non-entrée en matière précitée.
C.
Contre l'arrêt cantonal, A.X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt attaqué en ce sens qu'il soit ordonné au Ministère public l'ouverture d'une instruction à l'encontre de B.X._ et C.X._ pour les faits allégués visés par la procédure pénale du 28 janvier 2013.

Considérant en droit:
1.
1.1. Le Tribunal fédéral examine librement et d'office toutes les conditions de recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 472).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des art. 41 ss CO. Les mêmes exigences sont requises à l'égard de celui qui se plaint d'infractions attentatoires à l'honneur, la jurisprudence rendue avant l'entrée en vigueur de la LTF (<ref-ruling>) qui dispensait celui qui était lésé par une prétendue atteinte à l'honneur de faire valoir des prétentions civiles n'a plus cours (arrêt 6B_94/2013 du 3 octobre 2013 consid. 1.1). Selon l'art. 42 al. 1 LTF, il incombe notamment au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir (cf. <ref-ruling> consid. 1.2 p. 359; <ref-ruling> consid. 1 p. 356).
Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, il n'est pas nécessaire que la partie plaignante ait déjà pris des conclusions civiles (<ref-ruling> consid. 1.3.1 p. 248). En revanche, elle doit expliquer dans son mémoire quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au Ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, et le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que, compte tenu notamment de la nature de l'infraction alléguée, l'on puisse le déduire directement et sans ambiguïté (<ref-ruling> consid. 2.4 p. 222 s.; <ref-ruling> consid. 1a p. 187; <ref-ruling> consid. 1 p. 141; <ref-ruling> consid. I/4a p. 52).
1.3. En l'espèce, le recourant soutient uniquement que l'arrêt cantonal constitue un élément déterminant pour l'appréciation des prétentions qu'il souhaite faire valoir dans le cadre d'une procédure civile séparée. Une telle affirmation ne permet pas de comprendre sans ambiguïté quelles prétentions civiles pourraient être élevées. Il n'explique pas en quoi résiderait son dommage ou le préjudice moral subi, pas plus que son importance. Il est rappelé à cet égard que n'importe quelle atteinte légère à la réputation professionnelle, économique ou sociale d'une personne ne justifie pas une réparation (<ref-ruling> consid. 5.1 p. 704; <ref-ruling> consid. 3a p. 75). L'allocation d'une indemnité pour tort moral fondée sur l'art. 49 al. 1 CO suppose en effet que l'atteinte ait une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne, dans ces circonstances, s'adresse au juge pour obtenir réparation (cf. <ref-ruling> consid. 12.1 p. 29; arrêt 1B_648/2012 du 11 juillet 2013 consid. 1.2). Au demeurant, le recourant n'indique en particulier pas qu'il entend obtenir un constat selon l'art. 173 ch. 5 CP. L'absence de toute explication, dans la configuration d'espèce, suffit pour exclure sa qualité pour recourir. Il s'ensuit que le recours est irrecevable en tant qu'il porte sur le fond de la cause. Le recourant ne fait pour le surplus valoir aucune violation de ses droits procéduraux.
1.4. Le recourant succombe. Il supporte les frais de la procédure (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 28 octobre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Boëton