Faits :
A.
Par jugement du 14 décembre 2016, le Tribunal correctionnel de l'arrondissement de Lausanne a libéré X._ des chefs d'accusation d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance, alternativement de contrainte sexuelle, et mis fin à l'action pénale dirigée contre lui.
B.
Par jugement du 2 mai 2017, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels de A._ et du ministère public vaudois, en ce sens qu'elle a reconnu X._ coupable d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (<ref-law>) et l'a condamné à une peine privative de liberté de douze mois avec sursis durant trois ans. Elle l'a en outre condamné, à titre d'indemnité pour tort moral, à verser à A._ la somme de 750 fr. avec intérêt à 5% l'an dès le 2 novembre 2015. Enfin, les frais de la cause, par 12'418 fr. 90 et les frais d'appel, par 4'420 fr. 60, y compris l'indemnité du conseil d'office de A._, ont été mis à sa charge.
En résumé, les faits à la base de cette condamnation sont les suivants:
B.a. A B._, dans son cabinet de physiothérapie, le 27 octobre 2015, vers 18h00, X._, alors qu'il prodiguait une troisième séance de physiothérapie à sa patiente A._, née en 1997, pour des douleurs dorsales et à la jambe gauche, a changé la position de la jambe gauche de sa patiente de façon à ce que sa jambe soit plus écartée. Il a profité de l'incapacité de résistance de sa patiente, qui était allongée sur le ventre, ainsi que de l'état de gêne toujours plus important dans lequel se retrouvait cette dernière au fil des séances. Il a massé A._ avec davantage d'insistance à l'intérieur des cuisses, puis a posé sa main à plusieurs reprises sur le sexe de sa patiente tout en continuant à la masser. La victime, stressée et paralysée, n'a pas osé bouger.
B.b. A B._, dans son cabinet de physiothérapie, le 29 octobre 2015 vers 11h30, X._, alors qu'il se montrait de plus en plus entreprenant dans ses gestes envers A._ au cours de ses séances, a posé sa main sur le sexe de la victime tout en continuant à la masser de son autre main. La victime, stressée et paralysée, n'a pas osé bouger.
B.c. A B._, dans son cabinet de physiothérapie, le 2 novembre 2015 vers 15h00, X._, au cours de la cinquième séance de soins prodigués à sa patiente allongée sur le ventre, a écarté davantage la jambe gauche de A._. Il a ensuite introduit un ou plusieurs doigts dans le vagin de sa patiente, à plusieurs reprises, tout en continuant le massage. A._, terrifiée, n'a pas osé bouger, de peur de subir un viol, pensant par ailleurs qu'elle était seule avec le praticien dans le cabinet. Elle a finalement bougé ce qui a fait immédiatement cesser les gestes de X._. La patiente a ensuite senti la main de son physiothérapeute trembler très fort sur sa jambe. Elle est ensuite sortie rapidement du cabinet.
B.d. A._ a déposé plainte contre X._ le 7 novembre 2015.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement cantonal. Il conclut, avec suite de frais et dépens, principalement, à la confirmation du jugement rendu le 14 décembre 2016 par le Tribunal correctionnel de l'arrondissement de Lausanne et à ce que les frais d'appel, de 4'420 fr. 60, ainsi que l'indemnité du conseil d'office de A._ soient laissés à la charge de l'Etat. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la Cour d'appel pénale du Tribunal cantonal vaudois pour nouveau jugement dans le sens des considérants. Il sollicite par ailleurs l'octroi de l'effet suspensif.

Considérant en droit :
1. Le recourant se plaint de la violation de la présomption d'innocence.
1.1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées; arrêt 6B_179/2017 du 29 septembre 2017 consid. 3.1). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Lorsque l'autorité cantonale a forgé sa conviction sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit être examinée dans son ensemble. Il n'y a pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs sont fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêt 6B_563/2014 du 10 juillet 2015 consid. 1.1 et l'arrêt cité).
2.
Le recourant énumère un certain nombre de griefs (certificats médicaux de l'intimée qui n'auraient aucune valeur probante, non-prise en compte du fait qu'une patiente effectuait des exercices dans la salle de fitness attenante à celle de consultation, prise en considération erronée du fait que le médecin qui a établi le certificat médical était l'ami du recourant et, enfin, qu'il était contradictoire, pour l'intimée, alors qu'elle indiquait ressentir une grande gêne du fait des attouchements sur son sexe, de se rendre à la dernière consultation vêtue d'un string) dont les développements s'épuisent principalement en une rediscussion des moyens de preuve pris en considération par l'autorité précédente, à laquelle il oppose sa propre appréciation. Une telle démarche, essentiellement appellatoire, ne répond pas aux exigences de motivation déduites de l'<ref-law>. La recevabilité de ces développements est douteuse et l'on se limitera, dans la suite, à répondre brièvement aux arguments du recourant qui n'apparaissent pas immédiatement irrecevables.
2.1.
Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de sa situation professionnelle et personnelle. Certes, son casier judiciaire est vierge. Toutefois, comme l'a relevé à juste titre la cour cantonale, si les renseignements sur le recourant sont effectivement favorables, ils n'excluent aucunement la commission des infractions.
2.2.
Le recourant soutient qu'aucune preuve matérielle ne vient étayer les déclarations de l'intimée. Il relève en particulier l'absence d'ADN sur l'intimée et ses sous-vêtements. Cet élément était suffisant, à son avis, pour laisser planer un doute irréductible sur sa culpabilité.
Les juges cantonaux ont expliqué que le manque de dépôt ADN était dû au fait qu'il s'agissait de rechercher uniquement des cellules épithéliales de la main, que l'intimée s'était lavée après les faits litigieux et qu'il s'était écoulé un certain laps de temps avant l'analyse du sous-vêtement, qui était par ailleurs tâché d'huile de massage. Dès lors, on ne pouvait tirer aucune conclusion de l'absence d'ADN sur la véracité des déclarations de l'intimée. A l'encontre de cette appréciation, le recourant procède à sa propre interprétation de l'absence de traces ADN dans le sens qui l'arrange (conservation du string dans une boîte en carton et remise à la police, ce qui aurait dû permettre de trouver une trace ADN, présence d'huile non prouvée) sans démontrer dans quelle mesure l'appréciation de l'autorité précédente serait arbitraire. Le grief est irrecevable. Il sied en outre de préciser, d'une part, que le recourant ne conteste pas que l'intimée se serait lavée et, d'autre part, que l'absence d'ADN ne suffit pas à disculper le recourant, dès lors que l'appréciation de l'autorité précédente est fondée sur d'autres éléments (cf. consid. 2.3 infra).
2.3. Le recourant s'en prend largement aux déclarations de l'intimée. Il reproche aux juges cantonaux d'avoir retenu les déclarations de cette dernière, qu'il juge insuffisantes et contradictoires pour fonder une condamnation. Il considère en outre que la cour cantonale a versé dans l'arbitraire en retenant qu'il avait varié dans ses déclarations; il souligne qu'il a toujours nié de manière catégorique les faits. Enfin, de son point de vue, le comportement de la victime après les faits ne correspond pas à celui d'une femme victime d'attouchements.
2.3.1. Ce faisant, le recourant n'invoque aucun élément de preuve que le jugement attaqué aurait ignoré. Ce dernier fait état de la modification des déclarations du recourant, celui-ci admettant d'abord qu'il pouvait avoir glissé sa main vers l'intérieur des fesses de l'intimée et avoir effleuré par mégarde son sexe, sans s'en être aperçu, contestant ensuite ces déclarations, invoquant avoir signé son procès-verbal sans le relire. Par ailleurs, l'ensemble des déclarations faites lors de l'audition du 11 novembre 2015 devant la police montrait que le recourant avait été particulièrement précis s'agissant des zones du corps touchées par ses manipulations, explications accompagnées d'un schéma annexé au procès-verbal. Enfin, le recourant avait admis avoir fait une remarque sur la poitrine de l'intimée, avant de se rétracter. De l'avis de la cour cantonale, le motif donné au revirement n'était pas crédible.
La cour cantonale a ensuite procédé à l'analyse des déclarations de l'intimée et à son comportement après les faits. Elle a longuement expliqué en quoi son récit lui apparaissait crédible, à savoir qu'il était détaillé, mesuré et qu'il comportait une progression dans l'intensité des actes délictueux, ce qui rendait la description des attouchements particulièrement crédible, ce d'autant qu'elle a demandé à sa mère de l'accompagner pour la dernière séance de physiothérapie. Outre ces déclarations, la cour cantonale a retenu le témoignage de la mère de la victime sur les circonstances du dévoilement, qui accrédite la version des faits de celle-ci. Par ailleurs, le rapport de son gynécologue corroborait la description des faits, puisqu'il relevait des troubles du sommeil et de fréquents lavages des parties intimes, réaction typique de victimes d'abus sexuels. Le même jour, l'intimée s'était ensuite rendue au poste de police pour déposer plainte puis le lendemain à l'unité de médecine des violences pour se soumettre à un nouvel examen médical. Enfin, le jugement attaqué fait état d'attouchements de plus en plus insistants jusqu'à la pénétration digitale de la dernière séance, ce qui pouvait s'expliquer à la fois par des pulsions sexuelles de plus en plus affirmées du recourant et par la passivité de l'intimée, qui avait tout juste 18 ans et était particulièrement timide. Il retient également que l'intimée, aussitôt après avoir subi les faits les plus graves, avait indiqué au médecin avoir honte de s'être comportée aussi naïvement. Cela expliquait pourquoi il y avait eu autant de consultations avant que l'intimée ne dénonce les faits et pourquoi elle avait souhaité se faire accompagner par sa mère à la dernière séance de consultation. Par conséquent, la cour cantonale a constaté que l'intimée avait entrepris toutes les démarches pour autant que faire se peut favoriser la constatation de l'infraction et que son comportement après les faits tendait à démontrer la réalité des abus. En outre, il paraissait invraisemblable que l'intimée ait accompli toutes ces démarches si elle n'avait pas été réellement victime des attouchements qu'elle a décrits avec précision aux différents intervenants.
2.3.2. A l'encontre de ce raisonnement, le recourant se contente d'invoquer ses propres déclarations et celles de l'intimée qui l'arrangent, sans démontrer en quoi la valeur probante donnée à celles qui l'incriminent serait arbitraire. Il se contente de faire valoir, dans une démarche purement appellatoire, que les accusations de l'intimée ne correspondent pas aux déclarations faites à sa mère et que le rapport du gynécologue n'est pas objectif, puisque reposant uniquement sur le récit de sa patiente. Enfin, il ne démontre pas plus en quoi l'appréciation par l'autorité précédente du comportement de la victime après les faits serait insoutenable. Au demeurant, en présence de déclarations divergentes des protagonistes, ce qui est souvent le cas dans les affaires de moeurs, une condamnation qui repose sur des indices concluants qui privilégient la thèse de la victime n'est en rien arbitraire et ne viole pas la présomption d'innocence. Tel est le cas en l'espèce, les juges cantonaux s'étant basés sur une série d'éléments convergents pour asseoir leur conviction (cf. supra consid. 2.3.1). Ils se sont ainsi clairement forgé une conviction et n'ont pas violé la présomption d'innocence. Les éléments d'appréciation retenus échappent à l'arbitraire.
3.
Pour le surplus, le recourant ne discute ni les conditions d'application de l'<ref-law>, ni la peine prononcée au sens de l'<ref-law> (cf. <ref-law>).
4.
Au vu de ce qui précède, le recours doit être rejeté dans la faible mesure de sa recevabilité. Les frais judiciaires doivent être mis à la charge du recourant (<ref-law>). La victime, intimée, qui n'a pas été amenée à se déterminer, n'a pas droit à des dépens. La cause étant jugée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Bichovsky Suligoj