Faits : A. Par jugement du 13 février 2015, le Tribunal correctionnel de l'arrondissement de la Côte a libéré X._ des chefs de prévention de viol, de contrainte sexuelle et d'actes d'ordre sexuel commis sur une personne incapable de discernement et de résistance et a rejeté les conclusions civiles de A._. B. Statuant sur appel de A._, le 23 juillet 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé ce jugement en condamnant X._ à une peine privative de liberté de 18 mois avec sursis pendant deux ans pour abus de détresse au sens de l'art. 193 CP. Ce jugement se fonde sur les principaux éléments de fait suivants. A._, née en Colombie le xx.xxx.xxxx, est divorcée et mère de deux adolescents confiés à la garde de leur père. Elle souffre de la maladie de Parkinson dont les symptômes principaux sont une raideur musculaire, une lenteur du mouvement, des tremblements, des troubles de la marche, de la posture, de l'équilibre, du sommeil et parfois de la mémoire, de l'élocution et de la déglutition. Elle souffre également d'un état anxio-dépressif. Une amie commune, B._, a présenté A._ à X._, retraité, né le xx.xxx.xxxx et qui habite le même quartier que A._ à Y._. A partir de janvier 2013, A._, ne pouvant pas toujours compter sur d'autres proches, a fait appel à X._ pour qu'il lui vienne en aide. Leurs contacts se sont intensifiés jusqu'au 4 mars 2013. A._ a sollicité X._ aussi bien de jour que de nuit, à une dizaine de reprises, pour l'aider et l'assister lors de crises durant lesquelles son corps se rigidifiait. Cette assistance impliquait une certaine intimité telle que masser ses membres ou son corps pour lui donner de la mobilité, la dévêtir, la conduire à la douche, lui préparer à manger, lui tenir compagnie, recueillir ses confidences et assister à ses états d'âme. Au fil de ces visites, X._ a exprimé du désir sexuel à l'égard de A._. Lors d'une conversation téléphonique, il lui a fait comprendre qu'en contrepartie de l'aide qu'il lui apportait, il voulait entretenir un rapport sexuel avec elle. A._ a toujours repoussé ces avances, détournant la tête pour éviter les baisers, X._ étant toutefois parvenu à l'embrasser sur la bouche lors de sa dernière visite avant les faits. Le 4 mars 2013, A._ a conduit ses deux enfants chez leur père à Z._. Arrivée à son domicile, elle a ressenti une grande fatigue et s'est allongée sur son lit, tout habillée. Elle était entièrement crispée, ses membres étaient rigides et elle se trouvait dans une mauvaise position. Paniquée, elle a téléphoné à son ami C._ qui ne lui a pas répondu. Elle a donc décidé de faire appel à X._. Bien que l'intéressé lui ait indiqué pouvoir lui venir en aide en échange d'un rapport sexuel, A._ a refusé mais lui a néanmoins demandé de venir l'aider. X._ s'est présenté au domicile de A._ vers 20h15 et l'a aidée à se remettre dans une position plus confortable. Après avoir reçu des remerciements pour l'aide apportée, X._ a embrassé la victime sur la bouche alors que A._ s'y opposait. Tandis qu'il l'aidait à mettre son pyjama, il lui a touché l'entre-jambe par-dessus la culotte. Il lui a ensuite enlevé sa blouse, malgré son refus, et a embrassé ses seins avec force. Plus tard, vers 1h00 du matin, A._ s'est mise à pleurer et a exprimé son souhait de retourner chez elle en Colombie. X._ lui a alors dit qu'il voulait lui faire l'amour. Lasse de ses avances malgré ses refus, elle ne lui a pas répondu. X._ lui a retiré le bas de son pyjama. Elle s'est laissée faire, restant immobile et passive. Il a défait sa ceinture, ôté son pantalon et l'a pénétrée sans préservatif. Elle n'a pas senti la pénétration et, en réponse à sa question, X._ lui a confirmé avoir éjaculé. Alors qu'il lui remettait sa culotte, A._ lui a dit qu'il s'agissait d'un viol, ce qu'il a nié en lui répondant qu'il l'aimait. Le lendemain, A._ était dans un tel état de souffrance psychique qu'une prise en charge urgente à l'hôpital de Prangins a dû être organisée. L'autorité cantonale a également indiqué qu'à l'audience de jugement, X._ avait admis avoir éprouvé des sentiments amoureux à l'égard de A._ et reconnu avoir lourdement insisté pour coucher avec elle, considérant que cela était un dû en raison de sa disponibilité et des nombreux services rendus lors des crises. Le jugement a souligné que les appels téléphoniques de A._ avec sa fille en début de soirée étaient sans incidence dès lors que ces appels n'avaient pas de relation temporelle et étroite avec l'acte sexuel qui avait eu lieu bien plus tard dans la nuit, soit vers 1h00 du matin. C. X._ recourt en matière pénale au Tribunal fédéral contre ce jugement. Il conclut avec suite de frais et dépens à sa réforme dans le sens de son acquittement ainsi qu'à sa libération de toute condamnation au paiement d'une indemnité pour tort moral. Il n'a pas été ordonné d'échange d'écriture.