Faits :
A.
Par jugement du 17 mars 2016, le Tribunal de police de l'arrondissement de La Côte a notamment condamné X._ à une peine pécuniaire avec sursis de 60 jours-amende et à une amende de 400 fr. pour actes d'ordre sexuel avec des enfants.
B.
Par jugement du 23 août 2016, la Cour d'appel pénale a rejeté le recours interjeté par X._. Elle a retenu les faits suivants.
Au mois de janvier 2014, vers 22 heures, dans le quartier de la rue B._ à C._, X._, né en 1966, a importuné A._, née en 1999, qui promenait ses chiens. Il lui a en particulier touché les fesses, les seins et l'entrejambe par-dessus les vêtements et a essayé de l'embrasser. X._ est le concierge de l'immeuble dans lequel vivent A._ et sa famille.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 23 août 2016. Il conclut, principalement, à l'annulation de sa condamnation et de la peine infligée ainsi que des indemnités qu'il a été condamné à verser. Il conclut également à l'octroi d'une indemnité pour tort moral de 6'000 fr. en application de l'<ref-law>. Subsidiairement, il conclut à l'annulation du jugement du 23 août 2016 et au renvoi de la cause à l'instance précédente.

Considérant en droit :
1.
Le recourant se plaint de la violation de son droit d'être entendu. Il reproche à l'instance précédente d'avoir refusé d'administrer les preuves requises.
1.1. Selon l'<ref-law>, la procédure de recours se fonde sur les preuves administrées pendant la procédure préliminaire et la procédure de première instance. L'<ref-law> règle les preuves complémentaires. Ainsi, la juridiction de recours peut administrer, d'office ou à la demande d'une partie, les preuves complémentaires nécessaires au traitement du recours. Conformément à l'<ref-law>, il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité ou déjà suffisamment prouvés. Cette disposition codifie, pour la procédure pénale, la règle jurisprudentielle déduite de l'art. 29 al. 2 Cst. en matière d'appréciation anticipée des preuves (arrêts 6B_259/2016 du 21 mars 2017 consid. 5.1.2; 6B_486/2015 du 25 mai 2016 consid. 1.1; 6B_977/2014 du 17 août 2015 consid. 1.2 et les références citées). Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole ainsi le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a procédé, est entachée d'arbitraire (<ref-ruling> consid. 3.3 p. 64 et les références citées; arrêt 6B_506/2016 du 22 juin 2017 consid. 1.1).
Le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>).
1.2. Le recourant reproche à l'instance précédente d'avoir refusé de faire entendre des témoins.
La cour cantonale n'a pas jugé pertinent d'entendre les témoins proposés, d'une part, parce que le recourant ne précisait pas en quoi ces auditions de voisins et de locataires étaient pertinentes pour l'issue de la cause et, d'autre part, parce que les faits litigieux s'étaient déroulés en l'absence de témoins, de sorte que les témoignages complémentaires n'étaient pas nécessaires au traitement de l'appel (<ref-law>). Ce raisonnement n'est pas critiquable. Le grief est rejeté.
2.
Invoquant la protection contre l'arbitraire et la bonne foi (art. 9 Cst.), le recourant reproche ensuite à la juridiction d'appel de n'avoir pas accédé à sa réquisition tendant à la mise en oeuvre d'une expertise de crédibilité sur l'intimée. Selon le recourant, cette expertise serait nécessaire en raison du caractère contradictoire des déclarations de la victime et du fait que celle-ci aurait laissé entendre qu'elle avait une forte tendance au mensonge.
2.1. Conformément au principe de la libre appréciation des preuves, l'appréciation de la crédibilité des divers moyens de preuve relève en premier lieu de la compétence du juge du fait et aucun moyen de preuve ne s'impose à lui. Le magistrat ne saurait se soustraire à son devoir de libre appréciation en exigeant, sans nuance et quasi automatiquement, qu'une expertise de crédibilité soit ordonnée dès que des déclarations sont contestées, contiennent quelques imprécisions ou des contradictions mineures ou manquent de clarté sur des points secondaires (arrêts 6B_506/2016 du 22 juin 2017 consid. 1.4.1 et 1B_36/2010 du 19 avril 2010 consid. 3.1). Le juge ne doit ainsi recourir à une expertise de crédibilité qu'en présence de circonstances particulières (<ref-ruling> consid. 2 p. 86 et les arrêts cités; arrêt 6B_506/2016 du 22 juin 2017 consid. 1.4.1).
Pour déterminer s'il y a lieu d'ordonner une expertise de crédibilité d'un enfant, il faut prendre en considération, selon les circonstances spécifiques du cas, un certain nombre d'éléments parmi lesquels le degré de compréhensibilité, de cohérence et de crédibilité des dépositions à examiner. Il faut également observer dans quelle mesure ses déclarations sont compatibles avec les autres éléments de preuve recueillis. L'âge de l'auteur de la déposition, son degré de développement et son état de santé psychique de même que la portée de ses déclarations eu égard à l'ensemble des preuves administrées entrent également en considération. Une expertise de crédibilité effectuée par un spécialiste peut notamment s'imposer s'agissant de déclarations d'un petit enfant qui sont fragmentaires ou difficiles à interpréter, lorsqu'il existe des indices sérieux de troubles psychiques ou encore lorsque des éléments concrets donnent à penser que la personne interrogée a été influencée par un tiers (<ref-ruling> consid. 2.4 p. 184 et les références citées; arrêt 6B_506/2016 du 22 juin 2017 consid. 1.4.1).
En l'espèce, l'instance précédente a tenu compte du fait que l'intimée n'était pas un petit enfant. Elle a relevé que, lors de son audition, ses capacités cognitives étaient dans la norme, qu'elle avait bien compris questions et réponses et qu'il n'y avait pas d'influence sur elle de tiers. Ses déclarations étaient claires, crédibles et dénuées de contradictions. En outre, l'intimée ne cherchait pas à accabler le recourant et ni elle, ni ses parents ne montraient d'animosité envers lui. Enfin, les médecins avaient constaté qu'à la suite de l'agression, l'intimée avait présenté, de manière différée, un état de stress post-traumatique qui leur semblait directement lié au traumatisme vécu. C'est dès lors à bon droit que l'instance précédente a conclu qu'il n'existait aucune indication à la soumettre à une expertise de crédibilité. Le grief est infondé.
2.2. Dans son mémoire de recours, le recourant dénonce encore la violation de la présomption d'innocence (<ref-law>, art. 32 al. 1 Cst. et 6 § 2 CEDH).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 § 2 Pacte ONU II et 6 § 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.; arrêt 6B_825/2017 du 6 juillet 2017 consid. 1.1). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82; arrêt 6B_825/2016 du 6 juillet 2017 consid. 1.1).
Dans la mesure où le recourant s'en prend essentiellement à la crédibilité des déclarations de l'intimée, il ne fait qu'opposer sa propre appréciation des preuves sans démontrer en quoi celle de l'instance précédente serait arbitraire. Purement appellatoire, son grief est irrecevable.
3.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Il n'y a pas lieu d'allouer des dépens à l'intimée, qui n'a pas été amenée à se déterminer sur le recours.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 août 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Juge présidant : Jacquemoud-Rossari
La Greffière : Thalmann