Faits : A. Dans leur dénonciation du 30 mai 2014, les époux A._ faisaient état de leurs soupçons dirigés contre X._, au motif qu'il aurait touché de manière inappropriée leur fille de 4 ans, élève à l'école B._, où il enseignait. Le 4 juin 2014, X._ a été auditionné par la police en qualité de prévenu. La police a perquisitionné son domicile et du matériel informatique a été saisi. Le rapport d'analyse du matériel informatique du 2 octobre 2014 conclut à l'absence de toute trace de contenu illicite. A.a. Le 1er décembre 2014, X._ a déposé plainte contre inconnu pour diffamation, expliquant qu'à la suite de la dénonciation pour actes d'ordre sexuel, un membre du conseil d'administration de l'école B._, avait adressé un courriel aux parents d'élèves, dans lequel il était sous-entendu qu'il avait abusé sexuellement d'une élève. Il avait été licencié de son emploi dans cet établissement. Cette plainte, enregistrée sous le numéro de procédure P/1111, a été transmise pour enquêtes à la police le 5 décembre 2014. A.b. Le 13 mars 2015, la Police judiciaire, Brigade des moeurs, a transmis au ministère public un rapport de renseignements dans la procédure P/1111, portant tant sur la dénonciation de X._ par les époux A._, que sur la plainte contre inconnu déposée par X._ pour diffamation. Le rapport conclut qu'il n'a pas été possible de déterminer si X._ s'était rendu coupable ou pas d'actes d'ordre sexuel au préjudice de l'enfant A._. Sont joints au rapport, notamment, les procès-verbaux d'auditions de la mère de l'enfant, de X._, ainsi qu'un enregistrement sur DVD de l'audition de l'enfant. S'agissant du volet relatif à la plainte pour diffamation, le rapport en résume le contenu et les déclarations des personnes entendues à titre de renseignement sur ce point et relève que l'école B._ se disait prête, sur mandat du magistrat, à transmettre les courriels litigieux et le procès-verbal de la réunion des parents d'élèves. Sous la rubrique " Remarques ", il est relevé que " la procédure pénale ouverte sous la référence P/1111 concerne plus particulièrement la plainte de M. X._. Pour des raisons évidentes de commodité, nous avons intégré toute l'affaire en amont ". A.c. Le 19 mai 2015, le procureur a ouvert une instruction contre inconnu pour diffamation. Le même jour, il a adressé un avis de prochaine clôture de l'instruction à X._, l'informant de son intention de classer la procédure et lui impartissant un délai pour présenter d'éventuelles réquisitions de preuves. Le 25 août 2015, X._, faisant suite à cet avis et se fondant sur l'art. 429 CPP, a sollicité une indemnisation pour tort moral de 3'000 fr., justifiée par les désagréments découlant de la plainte pour actes d'ordre sexuel avec des enfants dont il a fait l'objet. Le 15 octobre 2015, le procureur a confirmé aux parents A._ qu'ils n'avaient pas accès à la procédure P/1111 ouverte pour diffamation, n'étant pas parties à la procédure. Après consultation du dossier, X._ a fait part, par courrier au ministère public du 13 janvier 2016, de ses difficultés à savoir à quoi faisait référence l'avis de prochaine clôture de l'instruction du 19 mai 2015, ce d'autant que le conseil des parents de l'enfant l'avait informé de l'ouverture d'une seconde procédure s'agissant de ces faits, et s'étonnait de ne pas avoir connaissance de cette autre procédure ouverte contre lui. Le même jour, le procureur lui a répondu que la procédure P/2222 avait été ouverte contre inconnu et qu'il n'était pas visé par celle-ci. Dans son courrier du 21 janvier 2016 au procureur, X._ a relevé que le dossier de la procédure P/2222 semblait contenir les pièces de la procédure P/1111 et qu'il était la personne contre laquelle la dénonciation des parents A._ était dirigée. Il sollicitait un classement des différentes affaires. B. Par ordonnance du 26 avril 2016, le ministère public a classé la procédure en référence à la plainte du 1er décembre 2014 pour diffamation (art. 319 al. 1 let. a CPP). A teneur de l'ordonnance, malgré plusieurs mesures, il n'a pas été possible d'isoler, voire de nommer l' " accusateur " au sein de l'établissement scolaire. C. Par arrêt du 28 mars 2017, la Cour de justice de la République et canton de Genève, Chambre pénale de recours, a déclaré irrecevable le recours formé par X._ contre l'ordonnance de classement, au motif que les motivations et conclusions ne portaient pas sur la décision attaquée (cf. art. 385 al. 1 CPP). D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal et conclut, avec suite de frais et dépens, à son annulation et au renvoi du dossier au ministère public. Invités à se déterminer sur le recours, tant la cour cantonale que le ministère public ont renoncé à formuler des observations.