Faits :
A.
Par ordonnance du 2 mai 2016, le Ministère public de la République et canton de Genève a classé la procédure pénale ouverte contre A._, suite aux plaintes pénales déposées par X._ pour diffamation, calomnie et violation du devoir d'assistance ou d'éducation. Le 30 octobre 2014, une procédure pénale avait été ouverte contre X._ pour soupçons d'abus sexuels commis au préjudice de leur fille. Le ministère public a classé la procédure pénale dirigée contre X._, considérant que les propos de l'enfant n'étaient pas suffisamment probants. Cette décision a été confirmée par la Chambre pénale de recours de la Cour de justice de la République et canton de Genève.
B.
Par arrêt du 25 août 2016, la Cour de justice a rejeté le recours de X._ contre l'ordonnance de classement du 2 mai 2016. Il en ressort les faits suivants.
X._ et A._ sont les parents de B._, née en 2008, hors mariage. Dans le cadre de relations conflictuelles à la suite de leur séparation, intervenue en 2009, et plus précisément en lien avec la garde de l'enfant, X._ a déposé plainte pénale contre A._ le 19 février 2014 pour calomnie (<ref-law>). Il se plaignait du fait que celle-ci avait écrit un e-mail au Service de protection des mineur-e-s (ci-après: SPMi), avec copie au Tribunal de protection de l'adulte et de l'enfant (ci-après: TPAE), les informant de ses inquiétudes à la suite des déclarations de sa fille, selon lesquelles son père lui " chatouillait les parties intimes ".
Il a complété sa plainte, le 17 mars 2015, reprochant aussi à A._ une violation du devoir d'assistance et d'éducation (<ref-law>), au motif qu'elle l'empêchait d'exercer son droit de visite et qu'il estimait, en outre, que la façon générale dont elle s'occupait de leur fille, notamment en la changeant d'écoles de manière brutale et de façon répétée de médecins, mettait en danger le développement psychique de leur enfant.
C.
X._ forme un recours en matière pénale et un recours constitutionnel subsidiaire contre l'arrêt du 25 août 2016. Il conclut principalement, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens que la cause est renvoyée au ministère public pour qu'il poursuive l'instruction, avec mise en prévention d'A._ pour violation des art. 173, 174 et 219 CP. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 197).
1.1. L'arrêt querellé est une décision finale (<ref-law>) rendue dans une cause de droit pénal. Il est donc susceptible de faire l'objet d'un recours en matière pénale (<ref-law>), qui peut notamment être formé pour violation du droit fédéral, y compris des droits constitutionnels (<ref-law>), ou violation du droit international (<ref-law>), dont la CEDH. Le recours constitutionnel subsidiaire est donc exclu (<ref-law> a contrario).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4).
En vertu de l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même la partie plaignante aurait déjà déclaré des conclusions civiles (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s. et les références citées).
En outre, si la partie plaignante invoque des infractions distinctes, elle doit mentionner par rapport à chacune d'elles en quoi consiste son dommage. Si ce dernier n'est motivé qu'en ce qui concerne l'une des infractions, le recours est irrecevable pour les autres (arrêts 6B_9/2016 du 21 juillet 2016 consid. 1.3 et 6B_432/2015 du 1er février 2016 consid. 1.2).
L'allocation d'une indemnité pour tort moral fondée sur l'<ref-law> suppose que l'atteinte présente une certaine gravité objective et qu'elle ait été ressentie par la victime, subjectivement, comme une souffrance morale suffisamment forte pour qu'il apparaisse légitime qu'une personne dans ces circonstances s'adresse au juge pour obtenir réparation (arrêts 6B_789/2017 du 25 septembre 2017 consid. 1.1 et 6B_185/2013 du 22 janvier 2014 consid. 2.2 et la jurisprudence citée).
1.3. En l'espèce, le recourant fait valoir des prétentions en indemnisation du préjudice matériel et moral qu'il a subi à la suite des propos calomnieux et diffamatoires tenus par l'intimée qui l'aurait présenté à l'égard de nombreux tiers " comme un criminel sexuel et un personnage incestueux à l'égard de sa fille ". Il chiffre son dommage à 20'000 francs. Il mentionne qu'il a perdu son emploi à la suite des propos tenus par l'intimée et qu'il a dû consulter lui-même un psychologue à la suite de ces accusations d'abus sexuels. Dans la mesure où il fait valoir qu'il a été victime d'une atteinte suffisamment grave, qui justifierait l'allocation d'une indemnité pour tort moral fondée sur l'<ref-law>, la qualité pour recourir doit dès lors lui être reconnue pour les infractions de diffamation et de calomnie (art. 81 al. 1 let. a et b ch. 5 LTF). Partant, il y a lieu d'entrer en matière.
1.4. En revanche, le bien juridique protégé par l'<ref-law> est le développement psychique et physique du mineur (<ref-ruling> consid. 1b p. 138; <ref-ruling> consid. 1a p. 68; arrêt 6B_299/2015 du 9 avril 2015 consid. 3.1), dont l'enfant est titulaire et non pas son père. Ce dernier n'a donc pas qualité pour recourir à titre personnel sur le fond de la présente cause. En tant qu'il agit comme représentant légal de l'enfant, il est douteux qu'il rende vraisemblable un dommage subi par l'enfant sous cet angle, mais cette question peut rester indécise vu l'issue du recours.
2.
Le recourant critique l'établissement des faits ainsi que l'appréciation des preuves à laquelle s'est livrée la cour cantonale.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées; arrêt 6B_179/2017 du 29 septembre 2017 consid. 3.1). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
2.2. Le recourant reproche à l'instance précédente d'avoir retenu de manière totalement inexacte que c'était uniquement la grand-mère qui avait fait des déclarations à l'autorité. Il ressort toutefois de l'arrêt attaqué que c'est bien l'intimée qui a averti les autorités, notamment le SPMi et le TPAE des déclarations de sa fille. C'est cependant en premier à sa grand-mère que la fille aurait déclaré qu'elle touchait et tirait le " zizi " de son père, lorsqu'ils prenaient un bain ensemble. La fille aurait par la suite montré à sa mère et à sa grand-mère comment son père la chatouillait au niveau du pubis.
Pour le surplus, la question de la bonne foi de l'intimée, remise en cause par le recourant, sera examinée sous consid. 3.5.
2.3. Pour le reste, le recourant développe une argumentation purement appellatoire et, partant, irrecevable. Le grief est rejeté, dans la mesure où il est recevable.
3.
Le recourant reproche à la cour cantonale d'avoir confirmé l'ordonnance de classement et estime que les conditions de réalisation des infractions dénoncées sont réalisées. Il invoque une violation de l'<ref-law> en lien avec les art. 219, 173 et 174 CP.
3.1. Selon l'<ref-law>, le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi (let. a), lorsque les éléments constitutifs d'une infraction ne sont pas réunis (let. b), lorsque des faits justificatifs empêchent de retenir une infraction contre le prévenu (let. c), lorsqu'il est établi que certaines conditions à l'ouverture de l'action pénale ne peuvent pas être remplies ou que des empêchements de procéder sont apparus (let. d) ou lorsqu'on peut renoncer à toute poursuite ou à toute sanction en vertu de dispositions légales (let. e). L'<ref-law> prévoit encore deux autres motifs de classement exceptionnels (intérêt de la victime ou consentement de celle-ci).
Le principe "in dubio pro duriore" découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91; arrêt 6B_196/2017 du 5 septembre 2017 consid. 2.1). Il signifie qu'en principe, un classement ou une non-entrée en matière ne peut être prononcé par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid 4.1 p. 190; arrêt 6B_196/2017 du 5 septembre 2017 consid. 2.1).
3.2. Aux termes de l'<ref-law>, celui qui aura violé son devoir d'assister ou d'élever une personne mineure dont il aura ainsi mis en danger le développement physique ou psychique, ou qui aura manqué à ce devoir, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (al. 1). Si le délinquant a agi par négligence, la peine pourra être une amende au lieu d'une peine privative de liberté ou d'une peine pécuniaire (al. 2).
Pour que l'<ref-law> soit applicable, il faut que l'auteur ait violé son devoir d'assistance ou d'éducation ou qu'il ait manqué à ce devoir. Le comportement délictueux peut donc consister en une action (par exemple l'auteur maltraite le mineur) ou en une omission (par exemple l'auteur abandonne l'enfant, en négligeant de lui donner des soins ou en ne prenant pas, face à un danger, les mesures de sécurité qui s'imposent). Ces actes doivent mettre en danger le développement physique ou psychique du mineur. Définissant un délit de mise en danger concrète, l'<ref-law> n'exige pas une atteinte à l'intégrité corporelle ou psychique du mineur; une mise en danger suffit, celle-ci devant toutefois être concrète, c'est-à-dire qu'elle doit apparaître vraisemblable dans le cas concret (arrêts 6B_539/2010 du 30 mai 2011 consid. 4.2 et 6B_993/2008 du 20 mars 2009 consid. 2.1 avec les renvois).
3.3. En l'espèce, la cour cantonale a retenu que l'enfant présentait des troubles du comportement depuis plusieurs années, soit bien avant le refus de sa mère de la présenter à son père pour que celui-ci exerce son droit de visite. Les spécialistes ont constamment conclu à des souffrances induites par un conflit de loyauté. Ainsi, contrairement à ce que soutient le recourant, il ressort des faits retenus par l'instance précédente qui lient le Tribunal fédéral que c'est le conflit parental qui est à l'origine de ces troubles et non le fait que le père ne pouvait pas exercer son droit de visite. Par ailleurs, le seul fait que la mère a temporairement empêché l'exercice du droit de visite du père ne suffit pas à la poursuivre pour violation du devoir d'assistance et d'éducation.
Pour le surplus, les autres éléments mentionnés par le recourant ne sauraient suffire à constituer des violations de l'<ref-law>. Il en va ainsi du fait que la mère a changé le lieu de scolarisation de l'enfant en pleine année ou qu'elle aurait changé le médecin psychiatre de l'enfant à plusieurs reprises, ces actes n'étant pas de nature à mettre en danger le développement physique ou psychique de l'enfant au sens de la jurisprudence précitée.
Partant, c'est sans violer le droit fédéral que la cour cantonale a confirmé l'ordonnance de classement sur ce point.
3.4. Le recourant se plaint ensuite d'une violation des art. 173 et 174 CP. Il reproche à l'intimée d'avoir rapporté à des tiers les propos tenus par leur fille, sans qu'elle ait démontré qu'elle avait des raisons sérieuses de tenir de bonne foi ces propos attentatoires pour vrais.
L'<ref-law> réprime le comportement de celui qui, en s'adressant à un tiers, aura accusé une personne, ou jeté sur elle le soupçon de tenir une conduite contraire à l'honneur, ou de tout autre fait propre à porter atteinte à sa considération, ou aura propagé une telle accusation ou un tel soupçon. L'<ref-law> prévoit que le prévenu n'encourt aucune peine s'il prouve que les allégations par lui articulées ou propagées sont conformes à la vérité, ou qu'il avait des raisons sérieuses de les tenir de bonne foi pour vraies. Il résulte de l'<ref-law> que la bonne foi ne suffit pas; il faut encore que l'accusé ait eu des raisons sérieuses de croire à la véracité de ses allégations (<ref-ruling> consid. 3b p. 151).
La preuve de la bonne foi est apportée lorsque le prévenu démontre qu'il a accompli les actes que l'on pouvait exiger de lui pour contrôler la véracité de ce qu'il alléguait. Enfin, la défense d'un intérêt légitime allège le devoir de vérification qui incombe à celui qui s'adresse à la police ou à une autre autorité, en sachant que celle-ci va procéder à un contrôle approfondi et dénué de préjugés. Le fait de s'adresser à une autorité de surveillance ne confère pas au dénonciateur le droit de porter atteinte à l'honneur d'autrui; il doit agir de bonne foi et avoir des raisons suffisantes de concevoir les soupçons qu'il communique à cette autorité (arrêt 6B_1225/2014 consid. 1.2 et les références citées).
La calomnie (<ref-law>) est une forme qualifiée de diffamation (<ref-law>), dont elle se distingue en cela que les allégations attentatoires à l'honneur sont fausses, que l'auteur doit avoir eu connaissance de la fausseté de ses allégations et qu'il n'y a dès lors pas place pour les preuves libératoires prévues dans le cas de la diffamation (arrêts 6B_1100/2014 du 14 octobre 2015 consid. 4.1 et 6S.6/2002 du 6 février 2002 consid. 2a).
3.5. En l'espèce, la cour cantonale a retenu que la mère avait des difficultés à laisser sa fille partir chez son père, parce qu'elle croyait, de bonne foi, que le père avait un comportement grave et inadéquat envers sa fille. Le droit de visite a d'ailleurs été suspendu unilatéralement aux motifs que le recourant n'aurait pas adopté une attitude adéquate envers sa fille et que celle-ci aurait refusé d'aller chez lui. Contrairement à ce que semble prétendre le recourant, le fait que l'intimée a dit qu'elle n'avait pas accusé le père d'abus d'ordre sexuel mais d'actes " inadéquats " ne change rien à l'appréciation cantonale de la bonne foi de l'intimée lors de l'envoi de l'e-mail au SPMi. Le rapport d'évaluation sociale du SPMi du 7 avril 2014 fait d'ailleurs état des suspicions de la mère s'agissant de " jeux à caractère sexuel effectués par le père ".
Le recourant estime que la bonne foi de l'intéressée ne peut pas être retenue dans la mesure où, malgré le fait que plusieurs intervenants judiciaires et sociaux ont préconisé le rétablissement du droit de visite au père, la mère a continué à " opérer des blocages au niveau du droit de visite ". Or, selon la jurisprudence, pour dire si une personne soupçonnée de diffamation avait des raisons sérieuses de tenir de bonne foi pour vrai ce qu'elle a dit, il faut se fonder exclusivement sur les éléments dont elle avait connaissance à l'époque de sa déclaration; il n'est pas question de prendre en compte des moyens de preuve découverts ou des faits survenus postérieurement (cf. <ref-ruling> consid. 3b p. 152 et les références citées; arrêt 6B_86/2017 du 24 août 2017 consid. 3.1). Ainsi, le fait que, par la suite, les intervenants ont considéré qu'il y avait lieu de rétablir le droit de visite ne signifie pas que l'intimée n'était pas de bonne foi au moment où elle a fait les déclarations litigieuses. En effet, à ce moment là, l'intimée s'est fondée sur les faits portés à sa connaissance par la grand-mère de l'enfant, qui lui a relaté ce que celle-ci avait dit, ainsi que sur les comportements oppositionnels et agressifs de l'enfant, ces éléments, établis sans arbitraire, sont susceptibles de créer la suspicion de gestes déplacés de la part du père. A l'instar de l'autorité précédente, l'on ne saurait reprocher à la mère d'un enfant, qui lui a dit que son père lui avait fait des " chatouilles sur les parties intimes ", de partager ses inquiétudes avec le SPMi et avec d'autres instances judiciaires et médicales. L'intimée ne pouvait par ailleurs pas vérifier par elle-même si ses suspicions d'abus ou de comportement inadéquat étaient fondées, vu le jeune âge de l'enfant et le défaut de tout dialogue avec le père. L'intérêt légitime à protéger son enfant allège dans cette mesure son devoir de vérification. Elle n'avait ainsi pas d'autre issue que celle de s'adresser au SPMi et aux autres intervenants et de signaler les faits.
Le recourant reproche encore à l'intimée d'avoir fait des déclarations attentatoires à son honneur à d'autres personnes, notamment aux intervenants scolaires et aux parents d'élèves. Dans la mesure où ces faits ne ressortent pas de l'arrêt entrepris, sans que le recourant expose l'arbitraire de leur omission, son grief est irrecevable. C'est dès lors à bon droit que l'instance précédente a retenu qu'à supposer qu'une infraction de diffamation fût réalisée, elle ne serait de toute façon pas punissable (<ref-law>). C'est également à bon droit que la cour cantonale a exclu la calomnie, faute pour l'intimée d'avoir su que les allégations étaient fausses.
Au vu de ce qui précède, la cour cantonale pouvait, à l'instar du ministère public, considérer que les chances d'acquittement étaient supérieures à la probabilité d'une condamnation pour diffamation, a fortiori, pour calomnie.
4.
Il s'ensuit que le recours est rejeté, dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière pénale est rejeté dans la mesure où il est recevable.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale de recours.
Lausanne, le 25 octobre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann