Faits :
A.
Par jugement du 2 mai 2013, le Tribunal de police de l'arrondissement de La Côte a libéré X._ du chef d'accusation d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance.
B.
Par jugement du 31 octobre 2013, la Cour d'appel pénale du Tribunal cantonal vaudois a admis les appels formés par le Ministère public et par A._ et rejeté celui formé par X._. Elle a condamné celui-ci pour actes d'ordre sexuel avec des personnes hospitalisées, détenues ou prévenues à une peine pécuniaire de 90 jours-amende à 50 fr. avec sursis pendant 2 ans, alloué à A._, à charge de X._, un montant de 4000 fr. à titre d'indemnité pour le tort moral et un total de 11'000 fr. à titre d'indemnité au sens de l'<ref-law> et mis les frais de procédure de première et seconde instances à charge de X._.
En bref, il ressort de ce jugement que le 5 novembre 2010, vers 19h30, à la Clinique B._, X._, employé en tant qu'infirmier dans cette institution, s'est rendu dans la chambre occupée par A._, alors hospitalisée, et l'a embrassée sur la bouche et touchée assez violemment sur les seins et les fesses par dessus les habits. A._ a déposé plainte pénale le 31 janvier 2011.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, principalement, à sa réforme en ce sens que le jugement de première instance est confirmé et qu'une indemnité, fixée à dire de justice, lui est allouée pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure et la réparation de son tort moral subi en raison d'une atteinte particulièrement grave à sa personnalité. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à l'autorité cantonale pour nouveau jugement.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir arbitrairement apprécié les preuves et établi les faits, violant le principe in dubio pro reo.
1.1. Dans le recours en matière pénale, les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>). Il n'en va différemment que si le fait a été établi en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire : <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 2.4 p. 5). Le recourant doit ainsi exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling>). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356 ; <ref-ruling> consid. 6 p. 397). Le reproche d'établissement arbitraire des faits se confond avec celui déduit de la violation du principe in dubio pro reo (art. 32 Cst.; <ref-law>; art. 6 par. 2 CEDH) au stade de l'appréciation des preuves (<ref-ruling> consid. 7 p. 82; <ref-ruling> consid. 2a p. 88). L'invocation de ces moyens ainsi que, de manière générale, de ceux déduits du droit constitutionnel et conventionnel (<ref-law>), suppose une argumentation claire et détaillée (<ref-ruling> consid. 1.4 p. 287), circonstanciée (<ref-ruling> consid. 3 p. 105).
1.2. La cour cantonale a procédé à une appréciation détaillée de la crédibilité des déclarations de l'intimée et du recourant.
En substance, elle a retenu s'agissant de l'intimée, que celle-ci avait spontanément révélé les faits à ses deux thérapeutes. Ses déclarations avaient été claires, déterminées et constantes depuis le début de l'enquête jusqu'aux débats d'appel. Les thérapeutes de l'intimée, qui la suivaient déjà avant son hospitalisation, avaient déclaré que l'intimée ne leur avait jamais menti et qu'elles n'avaient aucune raison de mettre en doute sa crédibilité. Elles n'avaient jamais eu le sentiment que l'intimée pouvait manipuler, mentir, fabuler ou halluciner. Même si l'intimée s'était décrite comme « complétement dans les choux », les thérapeutes avaient confirmé qu'il n'y avait eu aucun épisode d'hallucination ou de confusion chez celle-ci durant son hospitalisation, ni de delirium tremens. La cour cantonale a encore relevé que l'intimée n'avait aucun mobile pour inventer les faits, en particulier, il n'existait aucun élément au dossier pour étayer la thèse du complot avancée par le recourant. Il ressortait des différents documents médicaux concernant l'intimée que son état s'était aggravé après les faits, avec l'apparition d'une sensation d'être constamment touchée et un rejet de son corps. Elle avait en outre demandé à changer de chambre le 10 novembre 2010 en raison de « flash » et tenté de fuguer les 6, 7 et 8 novembre 2010 pour être retrouvée alors qu'elle allait en direction des rails du train. Elle avait été hospitalisée à deux reprises à l'approche des audiences de première instance en raison d'un état d'anxiété exacerbée. En définitive, l'intimée qui était certes « dans les choux » comme elle le disait elle-même, n'avait pas été victime d'hallucination, n'avait aucun mobile pour accuser faussement le recourant, sa souffrance liée aux abus allégués était réelle et les professionnels qui s'étaient occupés d'elle avant et pendant son hospitalisation avaient affirmé qu'elle ne leur avait jamais menti et n'avaient jamais douté de la véracité de ses propos.
En ce qui concerne la crédibilité des déclarations du recourant, la cour cantonale a, en résumé, retenu que le recourant avait nié de manière constante les faits qui lui étaient reprochés durant toute la procédure jusqu'aux débats d'appel. Le recourant avait tendance à se poser en donneur de leçon, notamment s'agissant du fonctionnement de la clinique alors qu'il n'avait que très peu d'expérience en psychiatrie. Il avait également de la peine à suivre les directives. Il avait laissé l'intimée avoir des contacts avec l'extérieur lors de son hospitalisation alors que les médecins l'avaient interdit et il avait spontanément déclaré avoir envoyé un SMS à une patiente ne se souvenant plus si c'était à l'intimée ou à une autre, attitude surprenante de la part d'un infirmier en psychiatrie. A une autre occasion, il avait contresigné une prescription médicale erronée, ce qui lui avait valu une lettre de la direction. En relation avec ces différents événements, la cour cantonale a souligné la difficulté du recourant à se rendre compte qu'il avait commis une erreur ou qu'il avait enfreint les règles. La cour cantonale a encore indiqué que, même si le recourant avait été décrit par certains témoins comme une personne consciencieuse et empathique, il n'en demeurait pas moins qu'il ne s'exprimait pas avec le moindre respect ou la moindre empathie envers l'intimée. Il avait notamment expliqué que l'intimée lui avait fait la bise à une occasion et avait déclaré « je n'ai vraiment pas apprécié car elle m'avait fait chier toute la journée. Elle n'arrêtait pas de sortir. [...] En plus, vous pensez que j'aurais eu envie d'embrasser une personne qui pue de la bouche, le tabac, l'alcool et les benzo ». Les deux thérapeutes de l'intimée avaient en outre souligné que le contact avec les collègues féminines était délicat car le recourant n'avait pas de limites, était de suite très proche et tenait des propos ou des blagues désagréables. Personne ne s'était toutefois plaint de gestes déplacés. Enfin, pour expliquer les accusations de l'intimée, le recourant s'était posé en victime d'un complot, prétendant qu'on voulait lui faire payer son attitude vis-à-vis de la clinique. Toutefois, aucun élément au dossier n'avait étayé sa position.
Au vu de ce qui précède, la cour cantonale a retenu qu'aucun élément au dossier ne permettait de mettre en doute la version de l'intimée.
1.3. Le recourant fait grief à la cour cantonale de ne pas avoir suffisamment tenu compte du fait que l'intimée avait elle-même déclaré être « complétement dans les choux » et qu'elle avait expliqué qu'elle revivait les abus, ayant régulièrement l'impression que l'on commettait des attouchements sur sa personne. Ces deux éléments permettraient d'établir la vraisemblance d'une incapacité partielle de discernement de l'intimée et seraient de nature à mettre en doute ses déclarations. Ce faisant, le recourant ne fait qu'opposer sa propre appréciation des faits à celle de la cour cantonale, sans toutefois démontrer en quoi celle-ci serait manifestement insoutenable. Purement appellatoire, son grief est irrecevable.
1.4. Le recourant soutient ensuite que la cour cantonale aurait arbitrairement omis de tenir compte des déclarations de la réceptionniste de la clinique qui avait indiqué que le personnel avait reçu une consigne précise de ne rien remettre à l'intimée, ni argent, ni objet. Il se prévaut en outre d'un rapport de la thérapeute de l'intimée selon lequel celle-ci avait déclaré qu'un infirmier l'avait embrassée et touchée aux seins et aux fesses et remis sa carte de médecin et sa carte bancaire. L'intimée aurait ainsi fait une relation entre les attouchements et la remise des objets. Or, la remise de ceux-ci par le recourant serait impossible et non établie. On peine à comprendre ce que le recourant entend démontrer par son raisonnement. Quoi qu'il en soit, la cour cantonale a retenu que le recourant avait tendance à ne pas respecter les instructions et qu'il avait notamment laissé l'intimée avoir des contacts avec l'extérieur ce qui lui était interdit. On ne distingue dès lors pas ce que le recourant entend retirer des consignes qui auraient été données telles qu'évoquées par la réceptionniste. Pour le surplus, la remise des objets qu'aurait relatée l'intimée ne constitue pas un élément susceptible de considérer que sa crédibilité est entachée au point de faire apparaître comme arbitraire le fait de retenir ses accusations. Son grief est infondé dans la mesure où il est recevable.
1.5. Le recourant prétend qu'il y aurait une invraisemblance temporelle dans les faits tels que retenus par la cour cantonale qui aurait dû amener celle-ci à éprouver un doute. En effet, le cuisinier de la clinique aurait déclaré qu'il y avait un changement d'équipe entre 19h et 19h30, or la cour cantonale avait retenu que les faits reprochés au recourant s'étaient déroulés à 19h30. Toutefois, comme le relève le recourant lui-même, le témoin a également déclaré qu'il y avait toujours quelqu'un qui s'occupait des patients. Dès lors, il n'était pas manifestement insoutenable de retenir que les faits s'étaient déroulés vers 19h30, ce d'autant moins que le recourant ne prétend, ni ne démontre qu'il ne faisait pas partie de l'équipe qui restait s'occuper des patients durant cette tranche horaire. Son grief est infondé dans la mesure où il est recevable.
1.6. Le recourant fait grief à la cour cantonale d'avoir retenu un lien de causalité entre la souffrance de l'intimée et les comportements reprochés au recourant. Dès lors que l'état dépressif grave de l'intimée était préexistant et à l'origine de son hospitalisation, la cour cantonale aurait arbitrairement déduit de la souffrance de l'intimée l'existence des faits reprochés. Contrairement à ce qu'affirme le recourant, la cour cantonale n'a pas retenu que les faits incriminés étaient à l'origine de l'état maladif de l'intimée, mais que son état s'était aggravé après les faits, ce qui ressortait d'ailleurs du constat des médecins. Elle a en outre relevé que l'intimée avait dû être à nouveau hospitalisée à deux reprises avant les audiences de première instance. Le recourant ne démontre ainsi pas qu'il était manifestement insoutenable de déduire de ces éléments que la souffrance vécue en relation avec les faits incriminés était réelle et avait pu aggraver l'état dépressif préexistant de l'intimée. Son grief est infondé dans la mesure où il est recevable.
1.7. Le recourant reproche à la cour cantonale d'avoir arbitrairement retenu qu'il avait une attitude de toute puissance qui coïncide avec celle d'une personne qui se permet des attitudes corporelles trop proches, voire des attouchements. En outre, il soutient qu'il ne peut lui être reproché de se défendre, même avec une certaine brutalité dans ses propos à l'égard de l'intimée, face à une « histoire qui l'a détruit ». Le recourant n'expose pas en quoi l'appréciation de la cour cantonale serait manifestement insoutenable, se contentant de l'affirmer. Insuffisamment motivé, son grief est irrecevable.
1.8. Enfin, le recourant prétend que la cour cantonale aurait arbitrairement omis de tenir compte du témoignage du cuisinier de la clinique qui aurait déclaré que le recourant avait dénoncé le fait qu'une patiente avait des relations sexuelles avec un autre patient ce qui n'aurait pas plu à la hiérarchie. On peine à comprendre en quoi cet élément serait propre à démontrer l'incapacité partielle de discernement de l'intimée comme le soutient le recourant. Insuffisamment motivé, son grief est irrecevable.
1.9. En définitive, le recourant ne démontre pas en quoi il était manifestement insoutenable de déduire des éléments retenus par la cour cantonale (cf. supra consid. 1.2) que les déclarations de l'intimée étaient crédibles et qu'il était l'auteur des faits qui lui étaient reprochés par celle-ci.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 juin 2014
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : La Greffière :
Mathys Livet