Faits : A. Le 23 juillet 2013, X._ a déposé plainte pénale contre Y._ pour diffamation et calomnie. Le 12 août 2013, le Ministère public genevois a interpellé ce dernier afin qu'il fasse part de ses observations au sujet de cette plainte, ce qu'il a fait par courrier du 10 septembre 2013. Par ordonnance du 17 septembre 2013, le Ministère public a refusé d'entrer en matière sur la plainte déposée par X._. Le 19 septembre 2013, X._ a requis la consultation du dossier et la récusation du Procureur. B. Par acte du 30 septembre 2013, X._ a formé recours contre l'ordonnance de non-entrée en matière susmentionnée concluant, préalablement à l'octroi d'une autorisation de consulter le dossier de la procédure et de compléter ses écritures, principalement à l'annulation de l'ordonnance attaquée et à la poursuite de l'instruction, avec suite de frais et dépens. Par arrêt du 8 janvier 2014, la Chambre pénale de recours de la Cour de justice genevoise a rejeté le recours formé par X._. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de dépens, à son annulation et au renvoi de la cause à l'autorité cantonale pour qu'elle lui accorde le droit de consulter le dossier et de formuler des observations à ce sujet avant de statuer à nouveau.