Faits:
A.
Par jugement du 6 juillet 2020, le Tribunal correctionnel de l'arrondissement de La Côte a libéré A._ des chefs de prévention de contrainte sexuelle et viol, a constaté qu'il s'était rendu coupable d'abus de la détresse et de tentative de contrainte, et l'a condamné à une peine privative de liberté de 21 mois avec sursis pendant 4 ans, ainsi qu'à une amende de 3'000 fr., la peine privative de liberté de substitution en cas de non-paiement fautif étant de 30 jours. Le tribunal a dit que A._ était le débiteur de B.B._ et lui devait immédiat paiement de la somme de 10'000 fr. plus intérêts à 5% l'an dès le 9 octobre 2014 à titre de réparation du tort moral, ainsi que de la somme de 5'519 fr. 10 plus intérêts à 5% l'an dès le 9 octobre 2014 à titre de dommages-intérêts, B.B._ étant renvoyée à agir devant le juge civil pour le solde de son préjudice. Le tribunal a en outre ordonné la confiscation et le maintien au dossier à titre de pièces à conviction d'une clé USB contenant des photos de B.B._, ainsi que d'un cahier bleu versé au dossier. La cour cantonale a arrêté l'indemnité du conseil d'office de B.B._ à un montant de 23'015 fr. 30, y compris une avance de 8'470 fr., débours et TVA compris, a mis à la charge de A._ les frais de procédure, par 45'026 fr. 10, montant comprenant l'indemnité précitée et a rejeté la requête de A._ en indemnité pour les dépenses occasionnées par l'exercice de ses droits de procédure au sens de l'art. 429 CPP.
B.
Par jugement du 24 novembre 2020, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._ et a confirmé le jugement du 6 juillet 2020.
Il en ressort les faits suivants:
B.a. A._ est né en 1947 à U._. Ressortissant belge, il est au bénéfice d'une formation en médecine chinoise qu'il a suivie en Chine. Il exploite, sous la forme d'une société anonyme, un cabinet de médecine chinoise et une école de médecine chinoise. Il publie également des livres dans ce domaine. Ses revenus sont à ce jour de l'ordre de 3'000 fr. par mois et s'élevaient à 6'000 fr. lors du jugement de première instance. Son épouse travaille également au cabinet, en qualité de thérapeute. A._ est père de trois enfants adultes et a deux petits-enfants. Il est propriétaire de la villa dans laquelle il vit avec son épouse. Il n'a pas de dettes et a des économies pour environ 120'000 francs.
Le casier judiciaire suisse de A._ ne comporte aucune inscription.
B.b. Au mois de septembre 2013, B.B._, née en 1989, sortait d'une période de dépression et de burn-out de deux ans, selon ses dires. Elle était suivie depuis le 6 août 2013 par la psychothérapeute D._. Cette praticienne n'avait pas constaté de signes caractéristiques de dépression chez sa patiente - qu'elle a décrite comme étant une personne fragile et sans repères - mais plutôt ceux d'une anxiété généralisée avec de l'agitation, ainsi qu'un trouble de la personnalité qui impliquait qu'elle devenait très vite dépendante. Diplômée des Beaux-Arts, B.B._ n'avait pas d'emploi. Après avoir vécu chez sa mère, elle a emménagé à V._ dans une maison occupée par des amis artistes. A cet endroit, E._ lui a conseillé de prendre rendez-vous auprès de A._, médecin généraliste en médecine chinoise, pour un traitement par acupuncture. Entre les mois de septembre 2013 et de janvier 2014, B.B._ s'est rendue à la consultation de A._ à la fréquence d'une fois par semaine ou toutes les deux semaines. Au début, le médecin a écouté sa patiente, celle-ci faisant état d'une aide psychologique, et lui a donné des conseils. A._ connaissait dès la première consultation le "désarroi extrême" dans lequel B.B._ se trouvait. Il lui a consacré beaucoup plus de temps qu'à ses autres patients et la voyait de manière non thérapeutique le vendredi à l'heure de midi dans la salle de conférence, après la fin du traitement.
B.c. A une date indéterminée, au mois de février 2014, dans son cabinet, au terme d'une séance de traitement par acupuncture, A._ a profité de la vulnérabilité psychique de B.B._ pour lui faire une accolade et lui prodiguer un baiser lingual.
Une quinzaine de jours plus tard, au même endroit, après avoir changé le jour de la consultation hebdomadaire au vendredi, jour d'absence de son épouse, A._ a profité de la vulnérabilité psychique de B.B._ pour lui masser le dos, les épaules et le haut de la poitrine, avant de lui prodiguer un cunnilingus et d'accomplir l'acte sexuel.
Après ces événements, selon toute vraisemblance dans la semaine qui a suivi, A._ et B.B._ se sont retrouvés dans la salle de réunion du cabinet médical. A._ a alors dit à la jeune femme qu'ils avaient eu un coup de foudre. Il parlait du destin et lui disait que son amour allait l'aider en évoquant un amour absolu et le don total. Au départ, B.B._ fuyait cette relation. A._ lui lançait alors des ultimatums et lui disait qu'elle retournerait dans la fange si elle le quittait. C'est dans ce contexte que A._ et B.B._ ont commencé une relation de couple. A compter de mars 2014, leur relation a ainsi évolué, en ce sens que les consultations au cabinet ont pris fin et que les prénommés ont entamé une relation amoureuse.
A une date indéterminée entre les mois d'avril et de mai 2014, à W._, après une dispute lors de laquelle B.B._ avait contredit A._, celui-ci a menacé de se suicider au moyen d'un couteau japonais qu'il a exhibé devant elle, dans le but de l'empêcher de mettre fin à leur relation.
B.B._ est parvenue à prendre ses distances et à rompre la relation avec A._ le 8 ou le 9 octobre 2014. Le 9 octobre 2014, ce dernier a encore menacé de se suicider si la jeune femme ne revenait pas à lui, en lui adressant, par le biais de l'application WhatsApp, des photographies où l'on distingue un couteau suisse et son abdomen.
A la suite de ces évènements, B.B._ a présenté des symptômes de stress post-traumatique et a été mise en arrêt maladie du 10 octobre 2014 au 1er mars 2015.
B.B._ a déposé plainte et s'est constituée partie plaignante par correspondances des 17 octobre, 3, 4, 8, 11 et 12 décembre 2014.
B.d. A._ a également été renvoyé devant le tribunal correctionnel sous l'accusation de viol et contrainte sexuelle à raison des faits qui se seraient déroulés entre mars 2014 et le 9 octobre 2014 et qui n'ont pas été retenus par les premiers juges, à défaut d'éléments de contrainte suffisants.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 24 novembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré de l'accusation d'abus de détresse et de tentative de contrainte, que les prétentions civiles de B.B._ sont rejetées, que les séquestres prononcés sur la clé USB et le cahier bleu sont levés, que l'intégralité des frais de procédure sont laissés à la charge de l'État et qu'une indemnité lui est allouée pour les dépenses occasionnées par l'exercice de ses droits de procédure. Subsidiairement, il conclut à l'annulation du jugement du 24 novembre 2020 et au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recourant se plaint d'arbitraire dans l'établissement des faits.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; <ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
1.2. Les déclarations de la victime constituent un élément de preuve. Le juge doit, dans l'évaluation globale de l'ensemble des éléments probatoires rassemblés au dossier, les apprécier librement (arrêts 6B_330/2021 du 15 septembre 2021 consid. 2.3; 6B_1425/2020 du 5 juillet 2021 consid. 1.3; 6B_892/2020 du 16 février 2021 consid. 6.1 et les références citées), sous réserve des cas particuliers où une expertise de la crédibilité des déclarations de la victime s'impose (cf. <ref-ruling> consid. 2.4 p. 184). Les cas de "déclarations contre déclarations", dans lesquelles les déclarations de la victime en tant que principal élément à charge et les déclarations contradictoires de la personne accusée s'opposent, ne doivent pas nécessairement, sur la base du principe "in dubio pro reo", conduire à un acquittement. L'appréciation définitive des déclarations des participants incombe au tribunal du fond (<ref-ruling> consid. 3.3 p. 127; arrêt 6B_330/2021 précité consid. 2.3).
1.3. Le recourant fait grief à la cour cantonale de ne pas avoir retenu des faits qu'il considère comme pertinents.
1.3.1. Il soutient que la relation extra-conjugale et affective aurait débuté à l'issue du traitement qu'il a prodigué à l'intimée en médecine chinoise. Ce faisant, il se contente en réalité d'opposer sa propre appréciation à celle de la cour cantonale. Au demeurant, dans son recours, il ne conteste pas avoir entretenu des rapports sexuels avec l'intimée dans son cabinet médical, étant au demeurant relevé que ses déclarations à cet égard ont fortement varié durant la procédure (cf. jugement attaqué, consid. 4.2.2). Dans ces conditions, la cour cantonale pouvait sans arbitraire considérer que la relation avait commencé dans son cabinet médical en février 2014.
Pour le surplus, en tant que le recourant soutient que "l'on ne discerne pas comment une infraction - d'une durée de 15 jours - pourrait se muer en idylle", il ne démontre pas quels faits auraient été arbitrairement omis, de sorte que son grief est irrecevable.
1.3.2. Le recourant soutient qu'il n'est pas établi que c'est l'intimée qui a rompu le 8 ou 9 octobre 2014. Il reproche à la cour cantonale d'avoir arbitrairement passé sous silence certains éléments qui démontreraient que c'est lui qui a rompu avec l'intimée.
1.3.2.1. La cour cantonale a retenu qu'il importait peu, en définitive, de savoir laquelle des deux parties avait rompu. Elle a toutefois considéré que certains messages étaient suffisamment explicites pour considérer que c'était l'intimée qui avait mis fin à sa relation avec le recourant. Il en allait de même des courriels écrits par le recourant à l'intimée les jours qui avaient suivi la rupture, les 9, 10, 11 et 30 octobre 2014 par exemple, dans lesquels il exprimait sa tristesse et son amour pour l'intimée, et dans lesquels on lisait notamment "Je crois que hier tu as fait ton choix. Il faut que je fasse le mien", "Aujourd'hui je t'enverrais bien mille reproches, Particulièrement parce que tu fais terminer notre amour dans le sordide", etc. Enfin, elle a relevé que ces courriels ainsi que les menaces de suicide du recourant démontraient par ailleurs qu'il avait été très affecté par la rupture.
1.3.2.2. Le recourant ne démontre pas en quoi l'appréciation de la cour cantonale serait arbitraire. Il se contente de soutenir que la première évocation de la rupture résulterait d'un échange d'appels téléphoniques et de messages WhatsApp du 9 octobre 2014, dont il ressortirait que le recourant a écrit, le premier, à l'intimée ce qui suit: "....tu te braques. Les conséquences vont être fracassantes car je vais te rendre à ta famille que tu aimes tant...", ainsi que d'un "mail de rupture" envoyé le même jour, à 8h53 (cf. pièce 15/2 du dossier cantonal; art. 105 al. 2 LTF).
En réalité, le recourant se contente d'opposer sa propre appréciation des preuves à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire. Au demeurant, contrairement à ce qu'il soutient, la lecture de l'e-mail qu'il mentionne, même en relation avec le message WhatsApp, ne permet de conclure que c'est le recourant qui a rompu la relation, en particulier compte tenu de tous les autres e-mails qui ont suivi.
Le grief du recourant est rejeté dans la mesure où il est recevable.
1.4. Le recourant reproche à la cour cantonale de ne pas avoir retenu que les déclarations de l'intimée étaient contradictoires.
1.4.1. Tout d'abord, contrairement à ce que soutient le recourant, il n'y a pas de contradictions entre les déclarations de l'intimée selon lesquelles elle a été manipulée par le recourant depuis le mois de septembre 2013, d'une part, et le fait de dire que celui-ci n'aurait eu aucun geste déplacé entre septembre 2013 et janvier 2014, d'autre part, dès lors que, comme le relève la cour cantonale, les comportements reprochés ne sont manifestement pas les mêmes.
Par ailleurs, le fait qu'elle ait déclaré que le recourant commençait à lui téléphoner tous les jours ne signifie pas nécessairement qu'elle ne l'appelait pas ou ne lui demandait pas de l'appeler.
Pour le surplus, le recourant invoque des éléments qui ne ressortent pas du jugement attaqué sans démontrer en quoi ceux-ci auraient été arbitrairement omis. Il en va ainsi du fait que les séances d'acuponcture du recourant duraient au maximum 40 minutes et non de 2 à 3 heures comme l'intimée le prétendait, étant relevé que le recourant a pu faire des exceptions pour celle-ci. Il en va de même de l'e-mail de l'intimée au recourant du 24 février 2014 (cf. pièce 37/1 p. 42 du dossier cantonal; art. 105 al. 2 LTF), dont on ne voit d'ailleurs pas en quoi il serait déterminant sur l'issue du litige.
1.4.2. Le recourant fait grief à la cour cantonale de s'être limitée à un examen restreint des arguments soulevés. Il lui reproche de ne pas avoir examiné l'appel avec une pleine cognition, notamment en n'examinant pas en détail les nombreux exemples qu'il a donnés pour mettre en doute la crédibilité de l'intimée.
En l'occurrence, la cour cantonale a exposé en détail les raisons pour lesquelles elle a jugé que les déclarations de l'intimée n'étaient pas contradictoires (cf. jugement attaqué, consid. 4.3). Pour le surplus, le recourant n'explique pas quel grief invoqué aurait été omis, étant au demeurant rappelé que le droit à une décision motivée déduit de l'art. 29 al. 2 Cst. n'impose pas au juge de discuter n'importe quel argument, mais qu'il peut se limiter à l'examen des questions décisives pour l'issue du litige (<ref-ruling> consid. 4.2 p. 157; <ref-ruling> consid. 2.2 p. 183; arrêts 6B_750/2020 du 9 septembre 2021 consid. 4.5; 6B_776/2020 du 5 mai 2021 consid. 2.4 destiné à la publication). Le grief est rejeté dans la mesure où il est recevable.
1.5. Le recourant reproche à la cour cantonale d'avoir retenu qu'il se montrait insistant, directif et intransigeant avec l'intimée en se référant à des e-mails postérieurs à l'époque litigieuse, soit du 1er au 15 février 2014.
1.5.1. La cour cantonale a retenu en substance que le recourant était capable d'imposer sa volonté et d'infléchir celle des autres pour arriver à ses fins. Pour parvenir à cette conclusion, elle s'est fondée notamment sur les innombrables courriels envoyés à l'intimée par le recourant, dès le mois de mars 2014, dans lesquels il se montrait insistant, directif, intransigeant avec l'intimée, et n'hésitait pas à se montrer dénigrant voire menaçant lorsqu'il n'arrivait pas à s'imposer par la séduction. Elle s'est également fondée sur les interventions du recourant auprès de tiers et sur les constatations de la psychologue et psychothérapeute de l'intimée, D._, qui a pu constater l'état dans lequel se trouvait l'intimée ensuite de la rupture du mois d'octobre 2014, ainsi que sur l'audition de la mère de l'intimée, C.B._, dont il ressort que le recourant donnait à l'intimée un planning et des directives à suivre par rapport à son organisation de travail, par téléphone (PV d'audition 7 du 4 juillet 2017). Elle s'est enfin fondée sur l'impression qu'a faite le recourant lors de son audition à l'audience d'appel, soit celle d'un homme rigide, n'acceptant pas la critique et ayant réponse à tout.
1.5.2. Le recourant ne démontre pas en quoi l'appréciation de la cour cantonale serait arbitraire. En particulier, on ne voit pas en quoi le fait que l'instance précédente se soit essentiellement basée sur des e-mails entre lui et l'intimée, postérieurs à l'époque litigieuse, ainsi que sur des constatations de divers intervenants, pour retenir qu'il est capable d'imposer sa volonté et d'infléchir celle des autres serait arbitraire, étant relevé que la cour cantonale ne s'est pas fondée sur ce seul élément mais sur un ensemble d'éléments ainsi que sur les déclarations crédibles de l'intimée pour conclure qu'il avait commis les faits qui lui sont reprochés. Le grief est rejeté dans la mesure où il est recevable.
1.6. Le recourant conteste l'existence d'un lien de dépendance ainsi qu'un état de détresse de l'intimée à l'époque des faits. Il reproche à la cour cantonale d'avoir privilégié la version de l'intimée, corroborée par les déclarations de la psychothérapeute de celle-ci, au lieu de la sienne.
1.6.1. La cour cantonale a retenu qu'il ne faisait aucun doute que le recourant avait profité de sa patiente pour l'amener à entretenir les premiers actes d'ordre sexuel avec lui, au mois de février 2014. Cet état de faiblesse était avéré. Cela ressortait des déclarations de la psychothérapeute de l'intimée, qui avait exposé que cette dernière l'avait consultée dès le mois d'août 2013 en raison d'une anxiété généralisée, avec de l'agitation et de la fatigue; elle l'avait en outre décrite comme une personne qui demandait sans cesse des conseils - ce qui démontrait qu'elle était dépendante - et comme une personne fragile et sans repères, précisant que tout professionnel (médecin ou thérapeute) devait se rendre compte de cet état; elle avait encore expliqué que l'intimée avait un rapport de dépendance avec tout le monde, comme un enfant. Le recourant avait lui-même relaté, dans une longue lettre qu'il avait adressée à la psychothérapeute de l'intimée le 18 octobre 2014, que lorsque celle-ci était venue le consulter, elle se trouvait dans un état de désarroi extrême et qu'elle lui avait confié qu'elle était proche du suicide. Aux débats, il avait également reconnu qu'il avait effectivement passé beaucoup de temps à parler avec l'intimée durant le traitement, qu'elle se sentait mal, qu'il était la seule personne qui l'écoutait et qu'ils avaient entretenu des conversations téléphoniques le soir, 3 à 4 fois par semaine, dès le début du mois de février, alors que le traitement était toujours en cours.
La cour cantonale a jugé que, dans ces conditions, il était indéniable qu'il existait une fragilité psychologique chez l'intimée, dont le recourant était parfaitement conscient, et que cet état lui imposait de s'abstenir de toute relation d'ordre sexuelle en raison du lien de dépendance patient-thérapeute qui existait entre les intéressés.
1.6.2. Le recourant reproche à la cour cantonale d'avoir privilégié la thèse de l'intimée, relevant que sa thérapeute n'aurait "pas eu la distance nécessaire à l'égard de sa patiente", et d'avoir rejeté, de manière systématique et donc arbitraire, sa version "précise et détaillée".
En réalité, dans son argumentation, le recourant se borne à soutenir qu'il a entretenu des relations sexuelles avec l'intimée une fois le traitement achevé. Cette argumentation ne saurait être suivie. En effet, d'une part, dans sa lettre du 18 octobre 2014, le recourant a lui-même reconnu que le traitement avait duré plus de six mois et, sachant que ce traitement a débuté le 25 septembre 2013, celui-ci n'était à l'évidence pas encore terminé lors des premiers actes sexuels qui ont eu lieu dans le cabinet en février 2014. D'autre part, il résulte des déclarations crédibles et détaillées de l'intimée que les deux premiers épisodes ont eu lieu après une séance d'acupuncture - et non dans la salle de conférence - lorsque celle-ci était détendue et pratiquement somnolente, ce qui ajoutait une dimension supplémentaire à la fragilisation de sa volonté dont le recourant avait également profité. Le grief est rejeté dans la mesure où il est recevable.
1.7. Le recourant conteste enfin les faits retenus pour justifier l'accusation de tentative de contrainte.
1.7.1. Il résulte des faits établis par le jugement attaqué que l'intimée a été alarmée par la menace de suicide du recourant et a appelé la police le 9 octobre 2014. Selon la cour cantonale, le recourant agissait bien dans le but de faire adopter un comportement déterminé à l'intimée, soit de la contraindre à le revoir, soit de l'inciter à reprendre leur relation. Il avait d'ailleurs lui-même reconnu qu'il avait agi de la sorte pour la pousser à le revoir pour discuter, lors de sa première audition du 17 décembre 2014 ainsi que dans sa lettre adressée à la psychothérapeute de l'intimée le 18 octobre 2014. Les circonstances avaient d'ailleurs été identiques en avril ou en mai 2014 lorsque le recourant avait menacé de se suicider avec un couteau japonais. Selon la cour cantonale, les faits étaient démontrés par les messages et photographies WhatsApp versés au dossier et ses propres déclarations s'agissant de l'épisode du 9 octobre 2014, par les déclarations de sa fille s'agissant de l'épisode du couteau japonais - épisode que lui et l'intimée lui avaient relaté -, ainsi que par les explications claires de l'intimée s'agissant des deux épisodes.
1.7.2. Le recourant reproche à la cour cantonale de ne pas avoir examiné les photographies dans leur ensemble, ce qui, selon lui, lui aurait permis de constater que, parmi ce groupe de photographies, figurait celle de lui, souriant. Or, comme l'a relevé à juste titre la cour cantonale, on ne voit pas en quoi le fait que l'intéressé ait envoyé une photographie de lui arborant un prétendu sourire après les menaces du 9 octobre 2014 serait de nature à relativiser ces menaces, dès lors que celles-ci ont quoi qu'il en soit alerté l'intimée, qui a appelé la police, comme l'a d'ailleurs reconnu le recourant. Son grief est dès lors rejeté.
1.7.3. Le recourant soutient qu'il n'a jamais possédé un quelconque couteau japonais. Ce faisant, il oppose sa propre version des faits à celle de l'instance précédente, sans démontrer en quoi celle-ci serait arbitraire, de sorte que son grief est irrecevable.
2.
Le recourant soutient que les conditions de l'art. 193 CP ne sont pas réalisées.
2.1. Conformément à l'art. 193 al. 1 CP, celui qui, profitant de la détresse où se trouve la victime ou d'un lien de dépendance fondé sur des rapports de travail ou d'un lien de dépendance de toute autre nature, aura déterminé celle-ci à commettre ou à subir un acte d'ordre sexuel sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire. La question de savoir s'il existe un état de détresse ou un lien de dépendance au sens de l'art. 193 CP et si la capacité de la victime de se déterminer était gravement limitée doit être examinée à la lumière des circonstances du cas d'espèce (<ref-ruling> consid. 1 p. 117). La situation de détresse ou de dépendance doit être appréciée selon la représentation que s'en font les intéressés (cf. <ref-ruling> consid. 1; arrêts 6B_236/2021 du 28 juillet 2021 consid. 1.1; 6B_1307/2020 du 19 juillet 2021 consid. 1.2; 6B_895/2020 du 4 février 2021 consid. 2.4.1 et les références citées). L'art. 193 CP est réservé aux cas où l'on discerne un consentement. Il faut que ce consentement apparaisse motivé par la situation de détresse ou de dépendance dans laquelle se trouve sa victime. Il doit exister une certaine entrave au libre arbitre. L'art. 193 CP envisage donc une situation qui se situe entre l'absence de consentement et le libre consentement qui exclut toute infraction. On vise un consentement altéré par une situation de détresse ou de dépendance dont l'auteur profite. Les limites ne sont pas toujours faciles à tracer. L'infraction doit permettre de réprimer celui qui profite de façon éhontée d'une situation de détresse ou de dépendance, dans un cas où la victime n'aurait manifestement pas consenti sans cette situation particulière (arrêt 6B_236/2021 précité consid. 1.1; 6B_1307/2020 précité consid. 1.2 et les arrêts cités).
Dans une relation entre un psychothérapeute et son patient, il peut exister un "lien de dépendance de toute autre nature" au sens de l'art. 193 CP (<ref-ruling> consid. 3b p. 112 s.; <ref-ruling> consid. 2c p. 16 ss). Il faut examiner dans chaque cas si ce lien existe et est prouvé. Dans ce contexte, peuvent jouer un rôle, la durée de la thérapie, l'état physique et psychique du patient, l'objet et la nature du traitement, les formes de traitement, le respect (ou son absence) d'une certaine distance par le thérapeute lors des entretiens avec le patient et d'autres circonstances encore. Un rapport de confiance particulier et un lien de dépendance prononcé peuvent faire défaut en raison notamment de la brièveté de la thérapie, de l'absence d'implication personnelle du patient dans le traitement ou dans les entretiens (par exemple, lors d'exercices de comportement psychologiques) ou encore en raison de l'attitude distante, critique, même négative du patient vis-à-vis du thérapeute; ce lien peut toutefois, selon les circonstances, exister après très peu de temps (<ref-ruling> consid. 1 p. 117 s. in JdT 2007 IV 151; arrêt 6B_1307/2020 du 19 juillet 2021 consid. 1.2; voir aussi, pour une présentation de la casuistique dans la relation thérapeute/patient: PHILIPP MAIER, Basler Kommentar, Strafrecht II, 4ème éd. 2019, n° 9 et 10 ad art. 193 CP).
Du point de vue subjectif, il faut que l'acte soit intentionnel. L'auteur doit savoir ou tout au moins supposer que la personne concernée n'accepte les actes d'ordre sexuel en question qu'en raison du lien de dépendance existant (<ref-ruling> consid. 1 p. 119 et la jurisprudence citée; arrêt 6B_1307/2020 du 19 juillet 2021 consid. 1.2).
2.2. La cour cantonale a considéré qu'il était indéniable qu'il existait une fragilité psychologique chez l'intimée et que le recourant était parfaitement conscient de l'état psychologique dans lequel se trouvait sa patiente. Or, au lieu de s'abstenir de toute relation d'ordre sexuelle en raison du lien de dépendance patient-thérapeute qui existait entre les intéressés, le recourant avait profité de sa position particulière de thérapeute et de confident. Ainsi, plutôt que de maintenir une distance professionnelle nécessaire sur le plan déontologique, le recourant s'était immiscé dans la vie privée de sa patiente, multipliant les rendez-vous et les contacts téléphoniques, y compris le soir, hors des heures d'ouverture du cabinet - ce qui, de son aveu même, n'était pas commun -, de manière à développer une relation d'emprise avec l'intimée. La cour cantonale a également relevé que le recourant, qui n'est pas psychologue, était néanmoins parfaitement conscient du mécanisme de transfert qui peut parfois se produire entre un praticien et son patient, comme il l'avait précisément exposé dans sa lettre du 18 octobre 2014. Selon la cour cantonale, il apparaissait que le recourant avait conditionné sa patiente, usant de sa fragilité et de l'influence qu'il avait sur elle, créant un lien de dépendance accru entre eux. La cour cantonale en a conclu que le recourant avait profité de cette fragilité et de ce lien de dépendance accru, qui ont porté atteinte au libre arbitre de l'intimée, ce dont il ne pouvait qu'être conscient, pour lui imposer les premiers actes d'ordre sexuel.
2.3. Le recourant soutient que l'intimée et lui-même sont "spontanément tombés dans une relation amoureuse dans le courant du mois de février 2014". Il souligne que l'intimée n'hésitait pas à stimuler cette relation, étant demanderesse de rapports amoureux et sexuels. Le recourant se réfère à divers e-mails de février 2014 dans lesquels l'intimée lui écrivait notamment qu'elle l'embrassait tendrement et qu'elle était follement contente de ses attentions.
Ces éléments ne ressortent pas du jugement attaqué, sans que le recourant ne démontre l'arbitraire de leur omission. Au demeurant, on ne voit pas en quoi le fait que l'intimée aurait envoyé de telles lettres exclurait l'existence d'un lien de dépendance entre le recourant et sa patiente. Le grief est rejeté dans la mesure où il est recevable.
2.4. C'est ensuite en vain que le recourant soutient à nouveau qu'il n'a entretenu des relations sexuelles avec l'intimée qu'une fois le traitement achevé. En effet, il ressort des faits retenus par la cour cantonale, dont l'arbitraire n'a pas été démontré (cf. supra consid. 1.3.1 et 1.6.2), que les actes d'ordre sexuel ont eu lieu dans le cadre de la thérapie en février 2014.
2.5. Pour le surplus, le recourant prétend que si l'intimée, qui n'a jamais été jugée incapable de discernement ou de résistance, avait éprouvé un malaise réel, elle aurait pu stopper la relation, dès février 2014. Il soutient également que l'intimée n'a "jamais opposé la moindre résistance" dès le début de la relation.
Cette argumentation ne saurait être suivie. En effet, l'art. 193 CP - contrairement à l'art. 191 CP - n'exige ni que la victime soit incapable de discernement, ni qu'elle soit incapable de résistance. Pour le surplus, le fait qu'elle n'eût pas opposé de résistance n'apparaît pas déterminant, sous l'angle de l'art. 193 CP, dès lors que son consentement était altéré par sa fragilité psychologique et son lien de dépendance au recourant.
3.
Le recourant conteste sa condamnation pour tentative de contrainte.
3.1. Se rend coupable de contrainte au sens de l'art. 181 CP, celui qui, en usant de violence envers une personne ou en la menaçant d'un dommage sérieux, ou en l'entravant de quelque autre manière dans sa liberté d'action, l'aura obligée à faire, à ne pas faire ou à laisser faire un acte.
Cette disposition protège la liberté d'action et de décision (<ref-ruling> consid. 3.2.1 p. 440). La contrainte est une infraction de résultat. Pour qu'elle soit consommée, il faut que la victime, sous l'effet de moyens de contrainte illicites, commence à modifier son comportement, subissant ainsi l'influence voulue par l'auteur (arrêts 6B_358/2021 du 15 septembre 2021 consid. 3.1; 6B_559/2020 du 23 septembre 2020 consid. 1.1; 6B_568/2019 du 17 septembre 2019 consid. 4.1 et la référence citée). Lorsque la victime ne se laisse pas intimider et n'adopte pas le comportement voulu par l'auteur, ce dernier est punissable de tentative de contrainte (art. 22 al. 1 CP; <ref-ruling> consid. 2.7 p. 270; <ref-ruling> consid. 2b p. 12).
Alors que la violence consiste dans l'emploi d'une force physique d'une certaine intensité à l'encontre de la victime (<ref-ruling> consid. 3a p. 44; plus récemment arrêt 6B_974/2018 du 20 décembre 2018 consid. 3.1), la menace est un moyen de pression psychologique consistant à annoncer un dommage futur dont la réalisation est présentée comme dépendante de la volonté de l'auteur, sans toutefois qu'il soit nécessaire que cette dépendance soit effective (<ref-ruling> consid. 2b p. 448; <ref-ruling> consid. 2a p. 128) ni que l'auteur ait réellement la volonté de réaliser sa menace (<ref-ruling> consid. 1a p. 324). La loi exige un dommage sérieux, c'est-à-dire que la perspective de l'inconvénient présenté comme dépendant de la volonté de l'auteur soit propre à entraver le destinataire dans sa liberté de décision ou d'action (<ref-ruling> consid. 2a/aa p. 19). La question doit être tranchée en fonction de critères objectifs, en se plaçant du point de vue d'une personne de sensibilité moyenne (<ref-ruling> consid. 1a p. 325; <ref-ruling> consid. 2a/aa p. 19).
Il peut également y avoir contrainte lorsque l'auteur entrave sa victime "de quelque autre manière". Cette formule générale doit être interprétée de manière restrictive. N'importe quelle pression de peu d'importance ne suffit pas. Il faut que le moyen de contrainte utilisé soit, comme pour la violence ou la menace d'un dommage sérieux, propre à impressionner une personne de sensibilité moyenne et à l'entraver d'une manière substantielle dans sa liberté de décision ou d'action. Il s'agit donc de moyens de contrainte qui, par leur intensité et leur effet, sont analogues à ceux qui sont cités expressément par la loi (<ref-ruling> consid. 3.2.1 p. 440 s.).
La contrainte est illicite lorsque le moyen ou le but est contraire au droit ou encore lorsque le moyen est disproportionné pour atteindre le but visé, soit encore parce qu'un moyen conforme au droit utilisé pour atteindre un but légitime constitue, au vu des circonstances, un moyen de pression abusif ou contraire aux moeurs (<ref-ruling> consid. 3.2.1 p. 440 s.; <ref-ruling> consid. 3.3.1 p. 328).
Sur le plan subjectif, il faut que l'auteur ait agi intentionnellement, c'est-à-dire qu'il ait voulu contraindre la victime à adopter le comportement visé en étant conscient de l'illicéité de son comportement; le dol éventuel suffit (<ref-ruling> consid. 2c p. 22).
3.2. La cour cantonale a retenu que l'intimée avait été alarmée par la menace de suicide du recourant et avait appelé la police le 9 octobre 2014. Le chantage au suicide constituait donc la menace d'un dommage sérieux au sens de l'art. 181 CP. Le recourant agissait dans le but de faire adopter un comportement déterminé à l'intimée, soit de la contraindre à le revoir, soit de l'inciter à reprendre leur relation. Le recourant avait d'ailleurs lui-même reconnu, lors de sa première audition du 17 décembre 2014, qu'il avait agi de la sorte pour la pousser à le revoir pour discuter, ainsi que dans sa lettre adressée à la psychothérapeute de l'intimée le 18 octobre 2014. Les circonstances étaient d'ailleurs identiques en avril ou en mai 2014 lorsque le recourant avait menacé de se suicider avec un couteau japonais. Contrairement à ce que soutenait le recourant, les faits étaient démontrés par de nombreuses pièces et déclarations (cf. supra consid. 1.7.1).
La cour cantonale en a conclu que les éléments constitutifs de la tentative de contrainte étaient donc réunis et que la condamnation du recourant pour ces faits devait également être confirmée.
3.3. Ce raisonnement est convaincant.
Le recourant se contente de relever à nouveau que le groupe de photographies contenait une photo de lui, souriant, de sorte qu'il était invraisemblable que l'intimée ait été objectivement en état de saisissement ou de crainte en recevant les clichés. Or, comme déjà relevé, on ne voit pas en quoi le fait que le recourant ait envoyé une photographie de lui avec un prétendu sourire après les menaces du 9 octobre 2014 serait de nature à relativiser ces menaces, étant rappelé que celles-ci avaient alerté l'intimée, qui avait appelé la police (cf. supra consid. 1.7.2). Le grief est rejeté dans la mesure où il est recevable.
En outre, en tant que le recourant soutient à nouveau qu'il ne détient pas de couteau japonais, il oppose sa propre version des faits à celle de l'autorité précédente, dans une argumentation appellatoire et, partant, irrecevable (cf. supra consid. 1.7.3).
4.
Pour le surplus, le recourant ne conteste pas la quotité de la peine qui lui a été infligée et il n'y a pas lieu de l'examiner.
Il en va de même de la confiscation de la clé USB et du cahier bleu, contre laquelle le recourant ne formule aucun grief (art. 42 al. 2 et 106 al. 2 LTF).
5.
Le recourant conteste l'allocation de prétentions civiles à l'intimée ainsi que les dommages-intérêts alloués à celle-ci pour la pose d'une alarme. Il soutient que l'instance précédente aurait dû, soit rejeter les prétentions civiles, soit donner acte des réserves civiles et renvoyer l'intimée à agir devant l'autorité compétente.
5.1. A teneur de l'art. 126 al. 1 CPP, le tribunal statue également sur les conclusions civiles présentées, lorsqu'il rend un verdict de culpabilité à l'encontre du prévenu (let. a) ou lorsqu'il acquitte le prévenu et que l'état de fait est suffisamment établi (let. b). Selon l'art. 126 al. 2 CPP, le juge renvoie la partie plaignante à agir par la voie civile, notamment, lorsque la partie plaignante n'a pas chiffré ses conclusions de manière suffisamment précise ou ne les a pas suffisamment motivées (let. b) ou lorsque le prévenu est acquitté alors que l'état de fait n'a pas été suffisamment établi (let. d).
Aux termes de l'art. 41 al. 1 CO, celui qui cause, d'une manière illicite, un dommage à autrui, soit intentionnellement, soit par négligence ou imprudence, est tenu de le réparer.
L'art. 49 al. 1 CO dispose que celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
L'ampleur de la réparation morale dépend avant tout de la gravité des souffrances physiques ou psychiques consécutives à l'atteinte subie par la victime et de la possibilité d'adoucir sensiblement, par le versement d'une somme d'argent, la douleur morale qui en résulte. Sa détermination relève du pouvoir d'appréciation du juge. En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (<ref-ruling> consid. 3.1 p. 342; <ref-ruling> consid. 11.2 p. 98; <ref-ruling> consid. 5.1 p. 704 s.; arrêt 6B_693/2020 du 18 janvier 2021 consid. 8.1).
La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où celle-ci relève pour une part importante de l'appréciation des circonstances, il intervient avec retenue. Il le fait notamment si l'autorité cantonale a mésusé de son pouvoir d'appréciation, en se fondant sur des considérations étrangères à la disposition applicable, en omettant de tenir compte d'éléments pertinents ou encore en fixant une indemnité inéquitable parce que manifestement trop faible ou trop élevée (<ref-ruling> consid. 2.3.1 p. 234; <ref-ruling> consid. 3.1 p. 342 s.; <ref-ruling> consid. 6.3.1 p. 344 et la référence citée).
5.2. La cour cantonale a exposé que l'intimée avait consulté à nouveau la psychothérapeute D._ dès sa rupture avec le recourant. Celle-ci avait notamment décrit les symptômes de stress post-traumatique de sa patiente, les certificats médicaux faisant état d'angoisses majeures, de reviviscences traumatiques, d'épisodes dissociatifs, de sentiment de perte de contrôle, d'hyper-vigilance et de cauchemars, lesquels étaient apparus après les faits délictueux et étaient donc en relation de causalité avec les abus et les pressions psychologiques exercés par le recourant. La cour cantonale a dès lors considéré qu'il était indéniable que l'intéressée avait subi une grave atteinte justifiant une réparation morale et que le montant de 10'000 fr. était raisonnable et correspondait à ce qui était usuellement alloué à une victime d'infraction à son intégrité sexuelle d'une certaine gravité.
La cour cantonale a également confirmé le montant de 5'519 fr. 10 alloué à titre de dommages-intérêts en relation avec la pose d'une alarme. En effet, il était établi que le recourant avait maintenu l'intimée dans une forme de crainte, notamment en la harcelant après la rupture, en l'envahissant littéralement de messages et de courriels en tous genres, en prenant contact avec sa thérapeute et en la faisant suivre par un détective privé. L'intéressée avait été totalement effrayée par ce comportement, comme cela résultait par exemple d'un courriel qu'elle avait adressé à sa thérapeute le 25 novembre 2014, de ses divers compléments de plainte adressés au ministère public ou encore de l'audition de sa mère. Dans ces circonstances, la pose d'une alarme était en relation de causalité avec les actes illicites du recourant, en particulier ceux qui justifiaient sa condamnation pour tentative de contrainte.
5.3. Ce raisonnement ne prête pas le flanc à la critique.
5.3.1. Tout d'abord, contrairement à ce que soutient le recourant, il ressort clairement du jugement attaqué - et la cour cantonale le relève expressément - que la réparation n'a pas été accordée pour des troubles préexistants de l'intimée mais bien pour une atteinte survenue suite aux actes du recourant. Le fait que l'intimée ait souffert de dépression par le passé ne change rien au fait que les actes du recourant ont causé chez elle une grave souffrance psychique. Pour le surplus, c'est en vain que le recourant soutient que les infractions d'abus de détresse et de tentative de contrainte ne sont pas des infractions d'une certaine gravité, étant au demeurant rappelé que l'ampleur de la réparation morale dépend avant tout de la gravité des souffrances psychiques (cf. supra consid. 5.1).
Il s'ensuit que c'est sans violation de son pouvoir d'appréciation que la cour cantonale a statué sur les conclusions civiles et fixé le montant de la réparation morale à 10'000 francs.
5.3.2. S'agissant du dommage alloué en relation avec la pose d'une alarme, dans la mesure où le recourant se contente de soutenir que l'intimée aurait aussi "participé à un jeu de harcèlement épistolaire entre les protagonistes", il invoque des éléments qui ne ressortent pas du jugement attaqué, sans démontrer l'arbitraire de leur omission, de sorte que son grief est irrecevable.
6.
Le recourant conteste sa condamnation au paiement de l'intégralité des frais de procédure ainsi que le refus de paiement d'une indemnité au sens de l'art. 429 CPP.
6.1. Conformément à l'art. 426 al. 2 CPP, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile sa conduite.
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par les art. 32 al. 1 Cst. et 6 par. 2 CEDH. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte. Pour déterminer si le comportement en cause est propre à justifier l'imputation des frais, le juge peut prendre en considération toute norme de comportement écrite ou non écrite résultant de l'ordre juridique suisse pris dans son ensemble, dans le sens d'une application par analogie des principes découlant de l'art. 41 CO. Le fait reproché doit constituer une violation claire de la norme de comportement (<ref-ruling> consid. 2.2). Une condamnation aux frais ne peut se justifier que si, en raison du comportement illicite du prévenu, l'autorité était légitimement en droit d'ouvrir une enquête. Elle est en tout cas exclue lorsque l'autorité est intervenue par excès de zèle, ensuite d'une mauvaise analyse de la situation ou par précipitation; la mise des frais à la charge du prévenu en cas d'acquittement ou de classement de la procédure doit en effet rester l'exception (<ref-ruling> consid. 2.2; arrêt 6B_761/2020 du 4 mai 2021 consid. 7.1).
Si la condamnation du prévenu n'est que partielle, les frais ne doivent être mis à sa charge que de manière proportionnelle, en considération des frais liés à l'instruction des infractions pour lesquelles un verdict de culpabilité a été prononcé. Il s'agit de réduire les frais, sous peine de porter atteinte à la présomption d'innocence, si le point sur lequel le prévenu a été acquitté a donné lieu à des frais supplémentaires et si le prévenu n'a pas, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci (cf. art. 426 al. 2 CPP). Comme il est délicat de déterminer avec exactitude les frais qui relèvent de chaque fait imputable ou non au condamné, une certaine marge d'appréciation doit être laissée à la cour cantonale (arrêts 6B_1047/2020 du 5 mai 2021 consid. 2.1; 6B_572/2018 du 1er octobre 2018 consid. 5.1.1 et les références citées).
6.2. La cour cantonale a considéré, à l'instar des premiers juges, notamment que si les faits postérieurs aux abus de la détresse - soit des pressions psychologiques sous forme d'attitudes pressantes, d'invectives, de menaces et de chantage affectif - n'avaient pas été retenus pénalement, ils constituaient néanmoins des atteintes illicites à la personnalité de l'intimée au sens de l'art. 28 CC en raison du chantage affectif et des moyens de pression utilisés à des fins sexuelles. La condamnation au paiement de l'intégralité des frais de justice devait ainsi être confirmée et, avec elle, le refus du paiement d'une indemnité au sens de l'art. 429 CPP.
6.3. Le recourant se contente de reprocher à la cour cantonale de s'être fondée sur des faits "postérieurs" pour justifier la condamnation aux frais de la procédure pénale. Il ne démontre cependant en quoi l'appréciation de la cour cantonale viole le droit fédéral (art. 42 al. 2 LTF), étant au demeurant relevé qu'une partie des menaces et du chantage affectif du recourant - qui a contribué à faire naître des soupçons, ce qui était de nature à provoquer l'ouverture d'une procédure pénale - a eu lieu durant la même période (mars à octobre 2014) que les faits à l'origine de sa condamnation pour tentative de contrainte et que les faits constitutifs de viol et de contrainte sexuelle pour lesquels il a été acquitté.
Le grief du recourant doit être rejeté dans la mesure où il est recevable.
6.4. En vertu de l'art. 430 al. 1 let. a CPP, l'autorité pénale peut réduire ou refuser l'indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure (art. 429 al. 1 let. a CPP) lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci. Selon la jurisprudence, la question de l'indemnisation du prévenu (art. 429 CPP) doit être traitée en relation avec celle des frais (art. 426 CPP). Si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue (<ref-ruling> consid. 2.4.2 p. 357; arrêt 6B_398/2019 du 19 juillet 2019 consid. 5.6). En revanche, si l'État supporte les frais de la procédure pénale, le prévenu a en principe droit à une indemnité selon l'art. 429 CPP (<ref-ruling> consid. 1.8.2; <ref-ruling> consid. 2.4.2; arrêt 6B_2/2021 du 25 juin 2021 consid. 1.1.1).
Compte tenu de ce qui précède, le refus d'allouer une indemnité au recourant ne contrevient pas non plus au droit fédéral.
7.
Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimée qui n'a pas été invitée à procéder (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 octobre 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann