Faits :
A.
Par jugement du 15 juillet 2016, le Tribunal de police de la République et canton de Genève a reconnu X.X._ coupable d'actes d'ordre sexuel avec des enfants (<ref-law>) et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) et l'a condamné à une peine privative de liberté de dix mois, assortie du sursis durant trois ans. Il l'a également condamné à payer 5'000 fr. à B.A._ et C.A._, représentants légaux de A.A._, à titre de réparation du tort moral.
B.
Par jugement du 23 janvier 2017, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a rejeté l'appel interjeté par X.X._.
En substance, la cour cantonale a retenu les faits suivants.
Depuis 2012, A.A._, née en 2009, était gardée par D.X._, maman de jour, à raison de quatre fois par semaine. Dans le courant de 2013, pendant les absences de D.X._, son époux, X.X._, a embrassé le sexe de A.A._, après lui avoir baissé la culotte et lui a dit que cela était leur " petit secret ". Il lui a également massé le sexe à plusieurs reprises, s'est dénudé devant elle, en l'obligeant à toucher son sexe.
Le 30 octobre 2013, C.A._ a déposé plainte pénale contre X.X._ à la suite des révélations de sa fille. A l'appui de sa plainte, il a produit un protocole d'accord du 24 octobre 2013, une lettre d'excuses de X.X._, un échange de courriels entre les familles X._ et A._, une clé USB contenant une vidéo de A.A._ du 21 octobre 2013 et un récapitulatif chronologique des événements.
Entendu par la police et le Ministère public de la République et canton de Genève, X.X._ a d'abord reconnu les faits avant de revenir sur ses déclarations.
Les déclarations de A.A._ ont fait l'objet d'une expertise de crédibilité. Dans leur rapport, les experts ont conclu que celles-ci étaient " plutôt crédibles ".
C.
X.X._ interjette un recours en matière pénale au Tribunal fédéral contre l'arrêt du 23 janvier 2017. Il demande au Tribunal fédéral, avec suite de frais et dépens, principalement, d'annuler l'arrêt entrepris dans son intégralité. Il conclut ensuite à son acquittement des chefs d'accusation d'actes d'ordre sexuel avec des enfants et d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, à l'allocation d'une indemnisation de 30'617 fr. 51, à titre de frais engendrés par la défense, de 237'755 fr. 25, à titre de dommage économique et de 41'100 fr., à titre d'indemnité pour tort moral. Subsidiairement, il conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le recourant se plaint d'une constatation arbitraire et incomplète des faits. Il se plaint aussi d'une violation de la présomption d'innocence.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées; arrêt 6B_179/2017 du 29 septembre 2017 consid. 3.1). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
1.2. Le recourant reproche à la cour cantonale d'avoir retenu certains faits en se fondant sur les déclarations de l'intimée alors qu'il existe des contradictions dans celles-ci.
Il souligne notamment le fait qu'à aucun moment pendant la vidéo réalisée par les parents de l'intimée ou lors de l'audition par l'inspectrice et la psychologue, l'intimée n'a déclaré que l'épouse du recourant était à l'extérieur de la maison lors des faits litigieux. Or, selon les dires de ses parents, leur fille leur aurait dit que les faits s'étaient déroulés alors que l'épouse du recourant s'était absentée pour faire les courses. Le recourant souligne aussi que l'intimée aurait d'abord déclaré qu'elle ne lui avait rien dit, avant de déclarer qu'elle lui aurait dit d'arrêter. Le recourant relève ensuite que l'intimée a d'abord dit à l'inspectrice que les faits se seraient produits une fois, puis a ensuite modifié sa version avec plusieurs épisodes de massages et bisous, en ajoutant des nouveaux détails pendant l'entretien. En outre, il reproche à l'intimée d'avoir déclaré qu'il lui aurait baissé sa culotte avant de baisser ses pantalons pour effectuer un " bisou ", ce qui n'est pas possible. Lors de son audition, l'intimée a également mentionné que les faits auraient eu lieu un mardi soir, ce qui n'était pas possible non plus, dans la mesure où l'intimée n'était chez le recourant et son épouse que la journée et non le soir.
La cour cantonale a retenu que l'intimée avait rapidement révélé les faits litigieux et les avait répétés à l'inspectrice en lui donnant une version similaire. S'agissant des contradictions figurant dans les témoignages de la victime, soulignées par le recourant, la cour cantonale a relevé que ces divergences ainsi que l'incapacité de l'intimée à situer chronologiquement les faits et leurs fréquences s'expliquaient par son jeune âge. Le recourant ne démontre pas en quoi ce raisonnement serait arbitraire.
1.3. C'est également en vain que le recourant soutient que les déclarations de l'intimée sont en contradiction avec celles de ses parents. En effet, ceux-ci n'ont fait que relater aux autorités ce que leur fille leur avait dit, notamment le fait que le " petit secret " qu'elle devait garder était le fait que le recourant lui avait fait des " bisous sur son zizi ". A cet égard, on relèvera que le recourant a lui-même déclaré à la police qu'il avait dit à l'intimée qu'il n'était pas en droit de lui faire des bisous sur le sexe et que cela serait leur " petit secret ". En outre, comme l'a relevé à juste titre la cour cantonale, l'intimée et ses parents n'avaient aucune raison d'accuser à tort le recourant. L'intimée aimait aller chez l'épouse du recourant et les deux familles s'entendaient bien.
2.
Le recourant soutient que l'expertise de crédibilité n'aurait pas été faite dans les règles de l'art. Il s'en prend également à son caractère probant.
2.1. Comme tous les autres moyens de preuve, les expertises sont soumises à la libre appréciation du juge. Celui-ci ne peut cependant pas s'écarter d'une expertise sans motifs pertinents. Il doit examiner, en se fondant sur les autres moyens de preuve administrés et sur les arguments des parties, si de sérieuses objections font obstacle au caractère probant des conclusions de l'expertise. En se fondant sur une expertise non concluante, le juge peut tomber dans l'arbitraire. Tel peut être le cas si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, de toute autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer (<ref-ruling> consid. 6.1 p. 373 et les références citées).
2.2. En l'occurrence, la cour cantonale a estimé qu'il n'y avait pas lieu de s'écarter de l'expertise de crédibilité, laquelle a conclu que les déclarations de l'intimée étaient plutôt crédibles. L'audition a été menée conformément au protocole du National Institute of Child Health and Human Development (NICHD), étant précisé qu'une partie a été adaptée au jeune âge de l'enfant. Les experts ont ensuite utilisé la méthode SVA (" Statement Validity Analysis "), analogue à la méthode dite de l'analyse du témoignage, qui est préconisée par le Tribunal fédéral (arrêts 6B_693/2015 du 31 mars 2016 consid. 2.5 et 6B_539/2010 du 30 mai 2011 consid. 2.2.3). Le score basé sur l'échelle Criteria Based Analysis (CBA) de la SVA était de 13/34 points, soit dans la partie haute de certitude, dès lors qu'entre 10 et 16 points, la crédibilité était considérée comme discutable. En raison de l'âge de l'enfant, l'échelle de la SVA a dû être adaptée et deux des 19 critères d'analyse n'ont pas été pris en considération, parce qu'ils n'étaient pas relevants. Une fois le score obtenu, il y avait une pesée d'éléments qui confirmaient la crédibilité ou non.
A cet égard, plusieurs éléments venaient augmenter la crédibilité des propos de l'intimée. Tout d'abord, contrairement à ce que suggère le recourant, s'agissant de l'audition du 30 octobre 2013 en présence d'une inspectrice et d'une psychologue, aucune pression ou coercition n'avait été relevée durant celle-ci. En outre, l'intimée pouvait indiquer les actes dont elle se souvenait et ceux dont elle ne se souvenait pas, ce qui démontrait qu'elle n'inventait pas de réponse pour faire plaisir à son interlocuteur. A plusieurs reprises, elle avait également reproduit spontanément les gestes dont elle a été victime, en se touchant spontanément le sexe et en écartant les jambes au moment où elle expliquait à l'inspectrice comment les massages s'étaient déroulés. En outre, elle parlait peu de ses parents à part pour dire qu'ils allaient tout faire pour que cela ne se reproduise plus. Enfin, les déclarations de l'intimée étaient similaires à celles de ses parents.
2.3. C'est à tort que le recourant soutient qu'une expertise de crédibilité employant la méthode SVA n'est pas possible ni adéquate sur un enfant de quatre ans. En effet, la jurisprudence à laquelle il se réfère indique que, dans le cas d'espèce, l'enfant, eu égard à son jeune âge et du fait qu'il était dans un état toujours très perturbé, ne possédait pas " les compétences langagières " pour être interrogé de manière conforme au protocole SVA (arrêt 6B_693/2015 du 31 mars 2016 consid. 2.5), ce qui n'est pas le cas de l'intimée dans la présente affaire. Les experts ont relevé dans leur rapport que la méthode employée a été validée scientifiquement pour les enfants principalement entre six et treize ans. Il est néanmoins admis que cette méthode soit employée sur des enfants plus jeunes. Certains éléments doivent être adaptés et nuancés, ce qui a précisément été fait en l'espèce.
Le recourant souligne que certains critères importants sont absents. Comme relevé précédemment, le fait que deux critères ne soient pas cotés est dû à l'âge de l'intimée. Pour le surplus, le fait que certains critères sont absents, tels que la spontanéité, explique que le score CBCA soit plutôt bas. Les experts ont conclu que les déclarations étaient " plutôt crédibles ", à la suite de la pondération du score, laquelle était, selon l'expert, préconisée par la littérature scientifique pour les enfants de moins de six ans.
Ensuite, le recourant relève un certain nombre d'éléments, qui, selon lui, permettraient de remettre en cause les conclusions de l'expert. Il souligne le fait que les déclarations initiales de l'intimée ont été faites à ses parents et que celles-ci ont été filmées. A suivre le raisonnement du recourant, aucune expertise de crédibilité ne serait valable lorsqu'un enfant s'est en premier confié à ses parents au sujet d'abus sexuels dont il a été victime. Le recourant souligne également le fait que l'un des experts n'a vu qu'une partie de la vidéo d'audition de l'intimée par l'inspectrice. A cet égard, on relèvera que les experts, lors de leur audition, ont confirmé que lorsque la méthode SVA était utilisée, ce qui était important c'était le script et non la vidéo. En tant qu'il critique le déroulement de l'audition devant l'inspectrice, le recourant oppose sa propre version à celle des experts et de l'autorité précédente. Il ressort d'ailleurs des déclarations des experts lors de leur audition que celle-ci était conforme et qu'ils n'avaient, en particulier, constaté aucune pression ou coercition de la part de l'inspectrice.
Par ses arguments, le recourant ne relève pas de contradiction interne à l'expertise, ne suggère pas que l'expert n'aurait pas répondu aux questions posées, ni que ses conclusions sont contradictoires ou que l'expertise serait entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques. Il ne soulève aucun motif pertinent qui justifierait de s'écarter de l'expertise.
2.4. Au vu de ce qui précède, l'autorité précédente n'est pas tombée dans l'arbitraire en retenant - à l'instar des experts - que les déclarations de l'intimée était plutôt crédibles.
3.
3.1. Le recourant soutient ensuite qu'il y aurait des faits pertinents qui n'ont pas été révélés par la cour cantonale. A titre d'exemples, le recourant s'étonne du manque de suivi psychologique de l'intimée jusqu'en novembre 2014 et du fait que les enseignants et autres membres de son école n'ont constaté aucun changement de comportement de la part de l'intimée. En réalité, le Centre de consultation spécialisé dans le traitement des séquelles d'abus sexuels (CTAS) était déjà intervenu en novembre 2013 auprès des parents " afin de favoriser un retour naturel à la normale ". L'intimée n'y avait pas participé parce qu'à l'époque, il n'y avait " pas de symptômes alarmants consécutivement aux événements. " En outre, il ressort de l'arrêt entrepris que E._, psychologue et psychothérapeute au CTAS, s'est chargée de la famille entre novembre 2014 et janvier 2015. Elle est intervenue en novembre 2014, en raison de réactions de détresse présentées par l'intimée, laquelle s'était affolée, après avoir cru apercevoir le recourant, et refusait de sortir de chez elle de peur de le rencontrer. E._ a d'ailleurs elle-même relevé, lors de son audition, que l'intimée se plaignait du fait que le recourant revenait toujours dans ses pensées et qu'elle faisait de manière récurrente des cauchemars en lien avec ce qui s'était passé. Les symptômes que présentait l'intimée (anxiété, réminiscences sous forme de flashbacks et de cauchemars) entraient dans le tableau classique d'un syndrome de stress post-traumatique et étaient compatibles avec un abus sexuel. Le recourant ne peut dès lors être suivi lorsqu'il soutient que la thèse de E._ ne repose que sur les déclarations de la mère de l'intimée. En outre, selon la psychologue, il n'est pas rare que de tels symptômes apparaissent de manière différée, quelques semaines, voire plusieurs années après les faits. Il est d'ailleurs également possible qu'ils réapparaissent plus tard. Par ailleurs, contrairement à ce que soutient le recourant, ni le fait que les enseignants de l'intimée n'ont pas constaté de changement dans le comportement de celle-ci, ni le fait qu'elle n'ait pas eu de chute dans ses résultats scolaires ne constituent des indices qui montreraient que les déclarations de l'intimée ne seraient pas crédibles. Pour le surplus, le recourant ne parvient pas à démontrer que l'instance précédente aurait omis des éléments de preuve de manière arbitraire.
4.
4.1. Le recourant soutient ensuite qu'il n'y aurait pas eu d'aveux, ni, par voie de conséquence, de rétractation de sa part. Il ressort pourtant du procès-verbal d'audition du recourant du 30 octobre 2013 que celui-ci a spontanément avoué avoir fait des " bisous " sur le sexe de l'intimée, avoir soufflé sur son sexe et lui avoir massé l'intérieur des cuisses et les fesses lorsqu'elle était allongée sur lui durant la sieste. Il a aussi révélé qu'il avait dit à l'intimée que cela serait leur " petit secret ", parce qu' "il n'avait pas le droit de lui faire des bisous sur le sexe ". Il a également déclaré qu'il s'était trouvé nu à deux reprises devant l'intimée, laquelle avait touché son pénis une fois.
A nouveau entendu, le recourant est partiellement revenu sur ses propos, en indiquant qu'il n'avait pas embrassé le " sexe " de l'intimée mais avait fait " un seul bisou entre le nombril et le pubis " de celle-ci. Lors d'une autre audience, il a ensuite déclaré qu'il avait, en réalité, seulement à une reprise, caressé l'intérieur de la cuisse de l'intimée et non son sexe.
Le recourant ne saurait être suivi lorsqu'il soutient que ses premières déclarations ont été faites dans des conditions inadéquates parce qu'il était " sous le choc " et n'était pas assisté d'un avocat. Comme le relève à juste titre l'instance précédente, le recourant a confirmé ses déclarations alors qu'il était assisté d'un conseil et il n'a jamais fourni d'explications convaincantes à ses révélations initiales. En outre, le fait que son médecin a déclaré que l'intéressé ne répondait à aucune des trois catégories de pédophiles recensés ne signifie pas qu'il ne peut pas être l'auteur des faits qui lui sont reprochés.
4.2. L'instance précédente a par ailleurs retenu d'autres éléments - qui ne sont pas mentionnés par le recourant - qui plaident en faveur de la version de l'intimée. Force est d'admettre avec l'instance précédente que le recourant a signé un protocole d'accord avec les parents de l'intimée sans émettre la moindre objection. Il a également envoyé différents courriels et courriers d'excuses adressés à l'intimée et à ses parents. Or, si le recourant n'avait rien à se reprocher, l'on voit mal pourquoi il aurait signé un document qui, non seulement faisait état d'un " faisceau concordant " amenant à le soupçonner d' "attouchements répétés " sur l'intimée et l'obligeait à ne " plus jamais se tenir à moins de 10 mètres " de l'intimée, mais indiquait également que le contrat de travail prenait fin avec effet immédiat et sans indemnité. Le recourant se contente de soutenir que les parents de l'intimée l'auraient contraint de signer le protocole d'accord. Dans la mesure où ces faits ne ressortent nullement du dossier, ils sont irrecevables.
4.3. Compte tenu des déclarations de l'intimée, attestée par une expertise de crédibilité, du syndrome de stress post-traumatique que celle-ci a présenté, des déclarations concordantes des parents ainsi que des déclarations du recourant lui-même, la cour cantonale n'a pas fait preuve d'arbitraire dans l'appréciation des preuves et la constatation des faits. Elle n'a pas davantage violé le principe de la présomption d'innocence, dont le recourant invoque la violation en présentant une argumentation similaire à celle développée à l'appui de son grief d'arbitraire. L'arrêt attaqué n'apparaît pas, à cet égard, arbitraire dans ses motifs ni dans son résultat. Ce grief doit être rejeté dans la mesure où il est recevable.
5.
5.1. Aux termes de l'<ref-law>, celui qui aura commis un acte d'ordre sexuel sur un enfant de moins de 16 ans, celui qui aura entraîné un enfant de cet âge à commettre un acte d'ordre sexuel, celui qui aura mêlé un enfant de cet âge à un acte d'ordre sexuel, sera puni d'une peine privative de liberté de cinq ans au plus ou d'une peine pécuniaire.
Par acte d'ordre sexuel, il faut entendre une activité corporelle sur soi-même ou sur autrui qui tend à l'excitation ou à la jouissance sexuelle de l'un des participants au moins (par ex.: arrêt 6B_103/2011 du 6 juin 2011 consid. 1.1 et les références citées). Selon la jurisprudence, il faut d'abord distinguer les actes n'ayant aucune apparence sexuelle, qui ne tombent pas sous le coup de la loi, des actes clairement connotés sexuellement du point de vue de l'observateur neutre, qui remplissent toujours la condition objective de l'infraction, indépendamment des mobiles de l'auteur ou de la signification que le comportement a pour celui-ci ou pour la victime (arrêts 6B_103/2011 précité consid. 1.1; 6B_7/2011 du 15 février 2011 consid. 1.2; 6B_777/2009 du 25 mars 2010 consid. 4.3; 6S.355/2006 du 7 décembre 2006 consid. 3.1, non publié à l'<ref-ruling>). Les comportements simplement inconvenants, inappropriés, indécents, de mauvais goût, impudiques ou désagréables doivent, cependant, demeurer hors du champ des actes pénalement répréhensibles (<ref-ruling> consid. 3b p. 63, SJ 1999 I p. 439; arrêt 6B_744/2016 du 1er mars 2017 consid. 3.2).
Au plan subjectif, l'auteur d'un acte d'ordre sexuel doit agir intentionnellement. Il faut qu'il soit conscient du caractère sexuel de son comportement, mais ses motifs ne sont pas déterminants, de sorte qu'il importe peu que l'acte tende ou non à l'excitation ou à la jouissance sexuelle (arrêt 6B_785/2011 du 29 juin 2012 consid. 3.2 et les références citées).
5.2. Aux termes de l'<ref-law>, celui qui, sachant qu'une personne est incapable de discernement ou de résistance, en aura profité pour commettre sur elle l'acte sexuel, un acte analogue ou un autre acte d'ordre sexuel, sera puni d'une peine privative de liberté de dix ans au plus ou d'une peine pécuniaire.
L'<ref-law> définit une infraction intentionnelle. La formule " sachant que " signifie que l'auteur doit avoir connaissance de l'incapacité de discernement ou de résistance de la victime. Il appartient par conséquent au juge d'examiner avec soin si l'auteur avait vraiment conscience de l'état d'incapacité de la victime. Le dol éventuel suffit. Agit donc intentionnellement celui qui s'accommode de l'éventualité que la victime ne puisse pas être, en raison de son état physique ou psychique, en situation de s'opposer à une sollicitation d'ordre sexuel, mais lui fait subir malgré tout un acte d'ordre sexuel (arrêt 6B_381/2015 du 19 avril 2016 consid. 2.2).
5.3. En l'espèce, force est de constater que le fait d'embrasser le sexe d'une enfant de quatre ans et demi, de le masser et d'obliger celle-ci à toucher son sexe constitue des actes d'ordre sexuel avec un enfant et commis sur une personne incapable de discernement ou de résistance. Contrairement à ce qu'il prétend, le recourant a clairement été au-delà d'un " simple " comportement inapproprié ou trop familier.
5.4. Le recourant soutient qu'il n'a pas agi intentionnellement. Or, contrairement à ce qu'il prétend, il ne ressort pas de l'expertise, dont il a fait l'objet, une absence de conscience chez celui-ci. En effet, il ressort plutôt du rapport d'expertise que le recourant estime n'avoir pas assez réfléchi aux conséquences possibles de son comportement, qu'il éprouve des regrets et qu'il a de la difficulté à appréhender les frontières. En tout état de cause, le fait que le recourant, après avoir embrassé le sexe de l'intimée, a dit à celle-ci que cela devait rester leur " petit secret ", parce qu'il n'avait pas le droit de faire des bisous sur son sexe et qu'il voulait " éviter d'ameuter toute la maison " montre qu'il avait parfaitement conscience du caractère répréhensible de ses actes.
Le grief du recourant est rejeté.
6.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais (<ref-law>). Il n'y a pas lieu d'allouer d'indemnité à l'intimée, qui n'a pas été invitée à se déterminer devant le Tribunal fédéral.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 19 janvier 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann