Faits :
A.
Le 23 juillet 2013, X._ a déposé plainte pénale contre Y._ pour diffamation et calomnie. Le 12 août 2013, le Ministère public genevois a interpellé ce dernier afin qu'il fasse part de ses observations au sujet de cette plainte, ce qu'il a fait par courrier du 10 septembre 2013.
Par ordonnance du 17 septembre 2013, le Ministère public a refusé d'entrer en matière sur la plainte déposée par X._.
Le 19 septembre 2013, X._ a requis la consultation du dossier et la récusation du Procureur.
B.
Par acte du 30 septembre 2013, X._ a formé recours contre l'ordonnance de non-entrée en matière susmentionnée concluant, préalablement à l'octroi d'une autorisation de consulter le dossier de la procédure et de compléter ses écritures, principalement à l'annulation de l'ordonnance attaquée et à la poursuite de l'instruction, avec suite de frais et dépens.
Par arrêt du 8 janvier 2014, la Chambre pénale de recours de la Cour de justice genevoise a rejeté le recours formé par X._.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de dépens, à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle lui accorde le droit de consulter le dossier et de formuler des observations à ce sujet avant de statuer à nouveau.

Considérant en droit :
1.
Aux termes de l'art. 81 al. 1 let. b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Indépendamment des conditions posées par cette disposition, la partie recourante est aussi habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. <ref-ruling> consid. 1.3 p. 79 s.; <ref-ruling> consid. 1.9 p. 40 et les références citées). Le recourant se plaint de ne pas avoir pu consulter le dossier, malgré ses requêtes, en particulier les observations de l'intimé déposées à la suite de l'interpellation du Ministère public du 12 août 2013, ce qui constituerait une violation de son droit d'être entendu. Savoir s'il invoque ainsi une violation de ses droits de partie et s'il a, en ce sens, qualité pour former un recours en matière pénale au Tribunal fédéral, est une question qui peut rester ouverte vu le sort du recours.
2.
2.1. Le Tribunal fédéral est lié par les faits retenus par l'arrêt entrepris (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion v. <ref-ruling> consid. 6.1 p. 379 s.) dans la constatation des faits. Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5).
2.2. Le recourant débute ses écritures par une présentation personnelle des faits et du déroulement de la procédure. Il ne cherche pas à démontrer que les faits auraient été établis arbitrairement et ne formule de la sorte aucun grief recevable au regard des art. 42 al. 2 et 106 al. 2 LTF.
3.
Le recourant se plaint d'une violation de son droit d'être entendu.
3.1.
3.1.1. Tel que garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend, notamment, le droit pour l'intéressé de prendre connaissance du dossier (<ref-ruling> consid. 2b p. 10) et de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 3.2 p. 494; <ref-ruling> consid. 2b p. 56). Le droit d'être entendu est également garanti par l'art. 3 al. 2 let. c CPP, qui a la même portée que l'art. 29 al. 2 Cst. (arrêt 6B_123/2013 du 10 juin 2013 consid. 1.1 et les références citées). Concrétisant le droit d'être entendu (art. 29 al. 2 Cst.) ainsi que les garanties relatives à un procès équitable et aux droits de la défense (art. 32 al. 2 Cst. et 6 par. 3 CEDH), l'accès au dossier est en outre garanti en procédure pénale aux parties de manière générale par les art. 101 al. 1 et 107 al. 1 let. a CPP (arrêt 1B_445/2012 du 8 novembre 2012 consid. 3.2).
3.1.2. S'agissant d'une procédure de non-entrée en matière, avant de rendre une ordonnance, le Ministère public n'a pas à en informer les parties et il n'a pas à leur donner la possibilité d'exercer leur droit d'être entendu, lequel sera assuré, le cas échéant, dans le cadre de la procédure de recours (arrêt 6B_43/2013 du 11 avril 2013 consid. 2.1 et les références citées).
3.1.3. Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation entraîne en principe l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond. Le droit d'être entendu n'est toutefois pas une fin en soi; il constitue un moyen d'éviter qu'une procédure judiciaire ne débouche sur un jugement vicié en raison de la violation du droit des parties de participer à la procédure, notamment à l'administration des preuves. Lorsqu'on ne voit pas quelle influence la violation du droit d'être entendu a pu avoir sur la procédure, il n'y a pas lieu d'annuler la décision attaquée (arrêt 4A_153/2009 du 1 er mai 2009 consid. 4.1 et les arrêts cités).
3.2. Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. De ce principe général découle notamment le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst., dont le Tribunal fédéral contrôle librement le respect (<ref-ruling> consid. 8.3.1 p. 53 et les références citées). Le principe de la bonne foi s'oppose toutefois à ce qu'une partie qui constate un prétendu vice de procédure ne le signale pas immédiatement, à un moment où il pourrait encore être le cas échéant corrigé, mais attende l'issue de la procédure pour l'invoquer ultérieurement si celle-ci lui a été défavorable (<ref-ruling> consid. 2.2 p. 336). Le principe de la bonne foi est également concrétisé à l'<ref-law>.
3.3. Le recourant reproche à la cour cantonale de n'avoir pas statué sur sa requête de consultation du dossier. Il prétend à une violation de son droit d'être entendu dès lors qu'il n'a pas pu prendre connaissance du dossier, en particulier les déterminations de l'intimé du 10 septembre 2013.
3.4. En substance, la cour cantonale a retenu que la conclusion du recourant tendant à l'obtention d'un délai supplémentaire pour compléter ses écritures était irrecevable. En effet, l'<ref-law> prévoyait que les délais légaux, soit notamment les délais de recours, ne pouvaient pas être prolongés. Le mémoire de recours du recourant remplissait les conditions de l'<ref-law> et ne nécessitait pas d'être complété.
3.5. Le raisonnement de la cour cantonale s'agissant de la prolongation d'un délai de recours ne prête pas le flanc à la critique et le recourant ne le conteste d'ailleurs pas. En outre, le principe de la bonne foi commande que le justiciable qui requiert la consultation d'un dossier le dernier jour du délai de recours puisse se voir opposer qu'il ne peut pas compléter son écriture. Une demande de consultation ne doit en effet pas permettre de contourner un délai légal et la partie doit s'organiser afin que la consultation intervienne en temps utile. Toutefois, en l'occurrence, le recourant avait requis la consultation du dossier auprès du Ministère public juste après réception de son ordonnance de non-entrée en matière. Cette demande est restée lettre morte. Il convient ainsi de constater que le droit de consulter le dossier du recourant a été violé.
Le recourant se plaint de ne pas avoir pu prendre connaissance du courrier de l'intimé du 10 septembre 2013. Il ne soutient pas qu'il n'aurait pas eu connaissance d'autres pièces versées au dossier et il n'apparaît pas que tel soit le cas. En effet, le dossier est composé de la plainte du recourant et de ses annexes, de l'interpellation du Ministère public à l'intimé du 12 août 2013, d'une demande de prolongation du délai de détermination de l'intimé et de son courrier du 10 septembre 2013. Le reste des pièces concerne la procédure de récusation initiée par le recourant à qui toutes les pièces y relatives ont été communiquées pour détermination et les décisions notifiées. Figurent également au dossier le mémoire de recours cantonal du recourant et son bordereau de pièces ainsi que l'arrêt attaqué (<ref-law>). Ainsi, le seul document versé au dossier dont le recourant n'a pas eu directement connaissance est le courrier de l'intimé du 10 septembre 2013. Toutefois, le contenu essentiel de ce courrier est reproduit dans l'ordonnance de non-entrée en matière du 17 septembre 2013 (p. 1 de la décision, ch. 3). Par conséquent, même s'il n'a pas formellement eu accès au dossier, le recourant a eu connaissance du contenu de toutes les pièces y étant versées. Il pouvait se déterminer sur celles-ci, en particulier le courrier de l'intimé du 10 septembre 2013, dans le cadre de son recours devant la cour cantonale qui disposait à cet égard d'un plein pouvoir d'examen en fait et en droit (cf. art. 391 al. 1 et 393 al. 2 CPP). Par conséquent, même si le droit de consulter le dossier du recourant n'a pas été respecté, ce vice n'a pas entraîné de violation nécessitant d'annuler l'arrêt attaqué.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Vu la violation constatée (cf. supra consid. 3.5), il est statué sans frais (<ref-law>). Il n'y a pas lieu d'allouer des dépens au Ministère public (<ref-law>), ni à l'intimé qui n'a pas été invité à procéder (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties et à la Chambre pénale de recours de la Cour de justice de la République et canton de Genève.
Lausanne, le 21 août 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge Présidant : La Greffière :
Denys Livet