Faits :
A.
Par jugement du 13 février 2015, le Tribunal correctionnel de l'arrondissement de la Côte a libéré X._ des chefs de prévention de viol, de contrainte sexuelle et d'actes d'ordre sexuel commis sur une personne incapable de discernement et de résistance et a rejeté les conclusions civiles de A._.
B.
Statuant sur appel de A._, le 23 juillet 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé ce jugement en condamnant X._ à une peine privative de liberté de 18 mois avec sursis pendant deux ans pour abus de détresse au sens de l'<ref-law>.
Ce jugement se fonde sur les principaux éléments de fait suivants.
A._, née en Colombie le xx.xxx.xxxx, est divorcée et mère de deux adolescents confiés à la garde de leur père. Elle souffre de la maladie de Parkinson dont les symptômes principaux sont une raideur musculaire, une lenteur du mouvement, des tremblements, des troubles de la marche, de la posture, de l'équilibre, du sommeil et parfois de la mémoire, de l'élocution et de la déglutition. Elle souffre également d'un état anxio-dépressif.
Une amie commune, B._, a présenté A._ à X._, retraité, né le xx.xxx.xxxx et qui habite le même quartier que A._ à Y._. A partir de janvier 2013, A._, ne pouvant pas toujours compter sur d'autres proches, a fait appel à X._ pour qu'il lui vienne en aide. Leurs contacts se sont intensifiés jusqu'au 4 mars 2013. A._ a sollicité X._ aussi bien de jour que de nuit, à une dizaine de reprises, pour l'aider et l'assister lors de crises durant lesquelles son corps se rigidifiait. Cette assistance impliquait une certaine intimité telle que masser ses membres ou son corps pour lui donner de la mobilité, la dévêtir, la conduire à la douche, lui préparer à manger, lui tenir compagnie, recueillir ses confidences et assister à ses états d'âme. Au fil de ces visites, X._ a exprimé du désir sexuel à l'égard de A._. Lors d'une conversation téléphonique, il lui a fait comprendre qu'en contrepartie de l'aide qu'il lui apportait, il voulait entretenir un rapport sexuel avec elle. A._ a toujours repoussé ces avances, détournant la tête pour éviter les baisers, X._ étant toutefois parvenu à l'embrasser sur la bouche lors de sa dernière visite avant les faits.
Le 4 mars 2013, A._ a conduit ses deux enfants chez leur père à Z._. Arrivée à son domicile, elle a ressenti une grande fatigue et s'est allongée sur son lit, tout habillée. Elle était entièrement crispée, ses membres étaient rigides et elle se trouvait dans une mauvaise position. Paniquée, elle a téléphoné à son ami C._ qui ne lui a pas répondu. Elle a donc décidé de faire appel à X._.
Bien que l'intéressé lui ait indiqué pouvoir lui venir en aide en échange d'un rapport sexuel, A._ a refusé mais lui a néanmoins demandé de venir l'aider. X._ s'est présenté au domicile de A._ vers 20h15 et l'a aidée à se remettre dans une position plus confortable. Après avoir reçu des remerciements pour l'aide apportée, X._ a embrassé la victime sur la bouche alors que A._ s'y opposait. Tandis qu'il l'aidait à mettre son pyjama, il lui a touché l'entre-jambe par-dessus la culotte. Il lui a ensuite enlevé sa blouse, malgré son refus, et a embrassé ses seins avec force. Plus tard, vers 1h00 du matin, A._ s'est mise à pleurer et a exprimé son souhait de retourner chez elle en Colombie. X._ lui a alors dit qu'il voulait lui faire l'amour. Lasse de ses avances malgré ses refus, elle ne lui a pas répondu. X._ lui a retiré le bas de son pyjama. Elle s'est laissée faire, restant immobile et passive. Il a défait sa ceinture, ôté son pantalon et l'a pénétrée sans préservatif. Elle n'a pas senti la pénétration et, en réponse à sa question, X._ lui a confirmé avoir éjaculé. Alors qu'il lui remettait sa culotte, A._ lui a dit qu'il s'agissait d'un viol, ce qu'il a nié en lui répondant qu'il l'aimait.
Le lendemain, A._ était dans un tel état de souffrance psychique qu'une prise en charge urgente à l'hôpital de Prangins a dû être organisée.
L'autorité cantonale a également indiqué qu'à l'audience de jugement, X._ avait admis avoir éprouvé des sentiments amoureux à l'égard de A._ et reconnu avoir lourdement insisté pour coucher avec elle, considérant que cela était un dû en raison de sa disponibilité et des nombreux services rendus lors des crises. Le jugement a souligné que les appels téléphoniques de A._ avec sa fille en début de soirée étaient sans incidence dès lors que ces appels n'avaient pas de relation temporelle et étroite avec l'acte sexuel qui avait eu lieu bien plus tard dans la nuit, soit vers 1h00 du matin.
C.
X._ recourt en matière pénale au Tribunal fédéral contre ce jugement. Il conclut avec suite de frais et dépens à sa réforme dans le sens de son acquittement ainsi qu'à sa libération de toute condamnation au paiement d'une indemnité pour tort moral.
Il n'a pas été ordonné d'échange d'écriture.

Considérant en droit :
1.
Invoquant à la fois une violation du droit d'être entendu et une appréciation arbitraire des preuves, le recourant se plaint que plusieurs éléments du dossier n'ont pas été pris en considération par la cour cantonale.
1.1. La jurisprudence déduit du droit d'être entendu (art. 29 al. 2 Cst., art. 3 al. 2 let. c CPP) l'obligation pour le juge de motiver ses décisions afin que le justiciable puisse les comprendre et exercer ses droits de recours à bon escient. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 2.2 p. 183).
1.2. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits (sur la notion d'arbitraire: <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379 s.). Ce grief se confond, par ailleurs, avec celui de violation de la présomption d'innocence en tant que ce dernier porte sur l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 41). La recevabilité de tels griefs, ainsi que de ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (ATF 136 Il 101 consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (<ref-ruling> consid. 1.4 p. 287). Les critiques appellatoires sont, en particulier, irrecevables (<ref-ruling> consid. 2.3 p. 266 et les réf. citées).
1.3. Le recourant se contente d'énumérer, dans la partie « fait» de son écriture, plusieurs éléments qui, selon lui, n'auraient pas été retenus par l'autorité précédente. Il indique que ces supposées omissions violent son droit d'être entendu et constituent une appréciation arbitraire des preuves, sans toutefois motiver de façon claire et précise en quoi ses droits constitutionnels auraient ainsi été violés. Il se contente ainsi d'opposer sa propre appréciation à celle de la cour cantonale dans une démarche appellatoire et partant irrecevable.
Au demeurant, ces griefs sont infondés. En premier lieu, le recourant indique que la cour cantonale n'a tenu compte ni des refus de la victime à ses avances ni de ses sentiments à l'égard de celle-ci. Or, l'autorité précédente a largement satisfait aux exigences de motivation car elle s'est longuement exprimée sur les éléments permettant de crédibiliser la version de l'intimée, similaire à celle du recourant sous réserve de la question du consentement. Elle a en particulier détaillé les motifs pour lesquels elle était arrivée à la conclusion que l'intimée n'avait pas consenti explicitement à l'acte sexuel mais qu'elle n'avait pas non plus exprimé clairement son refus le jour en question, se bornant à rester passive et à laisser faire, comportement qui pouvait, au bénéfice du doute, être interprété par le recourant comme un acquiescement ou une tolérance. La cour cantonale a également retenu que l'intimée avait exprimé à maintes reprises son désaccord avec les propositions du recourant et elle a pris en compte les déclarations de celui-ci sur ses sentiments. Elle est néanmoins arrivée à la conclusion que l'acte sexuel que le recourant entendait obtenir dépendait étroitement du besoin d'aide de la malade en se fondant en particulier sur les déclarations du recourant qui considérait que la relation sexuelle était un dû en raison de sa disponibilité et des nombreux services rendus. Enfin, le recourant allègue que la cour cantonale n'a pas tenu compte du fait que la victime pouvait mener une vie pratiquement normale, si l'on exceptait les crises dont elle était victime. Or, le recourant n'indique pas en quoi le fait que l'intimée soit, en dehors des crises dues à la maladie de Parkinson, apte à se déplacer, à faire son ménage ou à nouer des relations, serait susceptible de modifier l'appréciation des preuves faite par la cour cantonale sur le déroulement des faits au soir du 4 mars 2013. Il en va d'autant plus ainsi que le soir en question, la victime était précisément sous l'emprise d'une crise. Dès lors, le recourant n'est pas parvenu à démontrer que l'autorité précédente n'aurait pas discuté des questions décisives pour l'issue du litige, ni en quoi l'appréciation des preuves effectuée serait manifestement insoutenable.
2.
Le recourant conteste qu'il y ait eu avec l'intimée un lien de dépendance au sens de l'<ref-law>. Il allègue en particulier que la victime n'était pas seule et livrée à elle-même, qu'elle avait exprimé clairement son refus d'entretenir avec le recourant une relation sexuelle à plusieurs reprises et qu'enfin l'acte sexuel avait eu lieu après que les soins lui avaient été prodigués.
2.1. Selon l'<ref-law>, celui qui, profitant de la détresse où se trouve la victime ou d'un lien de dépendance fondé sur des rapports de travail ou d'un lien de dépendance de toute autre nature, aura déterminé celle-ci à commettre ou à subir un acte d'ordre sexuel sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
La victime est dépendante au sens de cette disposition lorsque, en raison d'une des circonstances mentionnées par la loi, elle n'est pas libre et qu'elle est par conséquent objectivement, voire même seulement subjectivement, à la merci de l'auteur de l'infraction. Pour qu'il y ait un lien de dépendance, il faut que la liberté de décision soit considérablement limitée. Pour déterminer l'intensité du lien de dépendance, il faut se pencher sur les circonstances du cas particulier. A la base d'un lien de dépendance, il y a, en règle générale, un rapport de confiance particulier et toujours une forte emprise de l'auteur sur la victime (<ref-ruling> consid. 5.2 p. 53).
Outre l'existence d'un lien de dépendance, l'<ref-law> exige que l'auteur de l'infraction, usant de son emprise sur la victime, ait déterminé cette dernière à commettre ou à subir un acte d'ordre sexuel. L'auteur doit avoir utilisé consciemment cette diminution de la capacité de décider ou de se défendre de la victime et la docilité de celle-ci pour l'amener à faire preuve de complaisance en matière sexuelle. L'<ref-law> présuppose que la personne concernée accepte de commettre ou de subir les actes d'ordre sexuel en question. Si elle est sous l'emprise de l'auteur, cette décision d'accepter ou de refuser les actes d'ordre sexuel n'est pas entièrement libre. Dans ces circonstances, si elle accepte des actes d'ordre sexuel, donne son accord exprès ou apporte sa participation, l'auteur est punissable pénalement lorsque la dépendance de cette personne l'a rendue consentante. Il importe donc de savoir si la personne concernée a accepté l'acte sexuel en raison du lien de dépendance existant ou si elle l'a accepté librement indépendamment de ce lien. Il doit par conséquent exister un lien de causalité entre le lien de dépendance et l'acceptation par la victime d'une relation de nature sexuelle avec l'auteur (<ref-ruling> consid. 1 p. 118).
Du point de vue subjectif, il faut que l'acte soit intentionnel. L'auteur doit savoir ou tout au moins supposer que la personne concernée n'accepte les actes d'ordre sexuel en question qu'en raison du lien de dépendance existant (<ref-ruling>, consid. 1 p. 119 et la jurisprudence citée).
2.2. L'autorité précédente a retenu l'existence d'un lien de dépendance entre la victime et le recourant et a considéré que ce dernier avait exploité ce lien pour obtenir une satisfaction sexuelle. Elle a en particulier indiqué que l'intimée se trouvait dans un lien de dépendance en raison de ses problèmes de mobilité dus à la maladie de Parkinson et de ses angoisses qui nécessitaient l'intervention d'un tiers. La proximité géographique et le nombre d'interventions dans les mois précédant les faits avaient eu pour conséquence que la victime s'était rapidement trouvée dans un lien de dépendance. Le recourant avait manifestement mis à profit ce lien de dépendance physique et psychologique en proposant à la victime son marché «aide contre sexe».
Cette interprétation ne viole pas le droit fédéral. En effet, s'agissant du lien de dépendance, les faits démontrent que la victime n'était pas libre et qu'elle se trouvait à la merci du recourant. Qu'elle puisse également recourir à d'autres aides n'empêche pas que, de fait, durant les derniers mois, le recourant était intervenu à de nombreuses reprises, répondant à ses appels à n'importe quelle heure du jour et de la nuit et dans un délai extrêmement rapide en raison de sa proximité géographique. Lors de ces interventions, l'intimée se trouvait le plus souvent dans l'incapacité de se mouvoir ou ne pouvait le faire que difficilement, dépendant ainsi pleinement du bon vouloir du recourant. Ce lien de dépendance physique était également doublé d'un lien de dépendance psychique. Le recourant avait, à plusieurs reprises, massé la victime pour tenter de décrisper ses membres, l'avait aidée à se dévêtir ou l'avait conduite à la douche. Un rapport de confiance s'était donc instauré entre eux. La victime, très anxieuse durant les crises dues à la maladie de Parkinson, ne pouvait se passer de la présence de quelqu'un et elle ne pouvait compter que sur lui pour intervenir rapidement. Le soir du 4 mars, alors que l'intimée se trouvait couchée sur son lit, les membres totalement rigides, elle a tenté de s'adresser à un ami, mais sans succès. Elle a donc téléphoné au recourant qui a immédiatement conditionné son intervention à l'acceptation d'une relation sexuelle. La victime a refusé mais elle était néanmoins contrainte de lui demander de l'aide, étant totalement dépendante de lui pour pouvoir faire face à cette crise. Le fait que la victime ait pu téléphoné à sa fille en tout début de soirée, peu après l'arrivée du recourant sur les lieux, n'est pas pertinent. En effet, malgré son refus d'entretenir une relation sexuelle, le recourant avait néanmoins répondu à son appel au secours et, à ce moment-là, elle n'avait guère de raison de s'inquiéter.
S'agissant du rapport de causalité entre le lien de dépendance et l'acceptation par la victime d'une relation sexuelle, celui-ci ne fait aucun doute. En conditionnant lui-même son aide à l'acceptation d'une relation sexuelle, le recourant a mis à profit le lien de dépendance psychologique et physique de la malade à son égard pour obtenir une satisfaction sexuelle. L'allégation selon laquelle les éléments objectifs de l'infraction ne seraient pas réalisés dès lors que la relation sexuelle était intervenue après les soins n'est pas pertinente. En effet, la capacité de la victime d'accepter ou de refuser l'acte sexuel n'était pas libre en raison de l'existence d'un lien de dépendance. L'intimée s'est laissée faire car, comme elle l'a clairement énoncé: «j'étais tellement paniquée que mon principal souci était d'avoir quelqu'un à mes côtés pour m'aider. Le fait que X._ puisse passer à l'acte était secondaire pour moi ». Le recourant a donc agi en usant de son emprise sur l'intimée et l'a ainsi déterminée à accepter une relation sexuelle à laquelle elle avait pourtant tenté de s'opposer.
Enfin, du point de vue subjectif, l'auteur doit savoir, à tout le moins supposer, que la victime accepte un acte sexuel uniquement en raison du lien de dépendance existant. Sur ce point, le recourant s'est exprimé sans équivoque puisqu'il a indiqué: « pour être honnête, je pense qu'elle a peut-être dit oui, car elle voulait absolument que je vienne l'aider parce qu'elle était mal ». Même s'il se prétend amoureux, il a également soutenu qu'il avait proposé une relation sexuelle en espérant que la victime ne lui téléphone plus, puis il a conditionné sa venue à une relation sexuelle. Le recourant savait ainsi clairement qu'il pourrait imposer un rapport sexuel en raison de la dépendance de la victime à son égard.
3.
Mal fondés, les griefs soulevés par le recourant doivent être écartés. Succombant, le recourant doit supporter les frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 13 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Musy