Faits : A. Par jugement du 10 juillet 2013, le Tribunal correctionnel de l'arrondissement de la Côte a déclaré X._ coupable d'actes d'ordre sexuel avec une personne dépendante (art. 188 ch. 1 CP), d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance (art. 191 CP) et d'infraction à la loi fédérale sur les stupéfiants (art. 19 ch. 1 al. 4 aLStup), l'a condamné à une peine privative de liberté de 10 mois, peine complémentaire à celle prononcée le 2 juillet 2010 par la Cour de cassation pénale cantonale vaudoise, a renoncé à révoquer le sursis accordé à X._ le 14 mars 2007 et prolongé le 2 juillet 2010 et a alloué à Y._ un montant de 3'000 fr. à titre de tort moral. B. Par jugement du 23 janvier 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel de X._ et admis partiellement celui du Ministère public vaudois en ce sens qu'elle a révoqué le sursis accordé à X._ le 14 mars 2007 et prolongé le 2 juillet 2010 et a ordonné l'exécution de la peine privative de liberté de 15 mois. En résumé, les faits à la base de cette condamnation sont les suivants : B.a. A la fin avril 2008, à la suite d'une annonce parue sur internet, selon laquelle un groupe de créateurs cherchait des modèles pour des séances photos, Y._ (née le 9 mars 1992) est entrée en contact avec X._ (né le 13 août 1973). Après avoir conversé au téléphone quelques jours, les deux protagonistes ont décidé de se rencontrer en mai 2008 au domicile de X._ afin de discuter du genre de photos que la jeune fille souhaitait faire. A l'issue de la soirée, ils ont dormi dans le même lit. Cette situation s'est répétée à deux autres reprises. X._ n'a jamais évoqué qu'il souhaitait faire poser la jeune fille nue ou en petite tenue, mais il lui a expliqué qu'il lui était arrivé de faire ce genre de photos dans sa profession. Au fil des rencontres, Y._, qui se trouvait dans une situation personnelle et familiale difficile, a noué une relation d'amitié avec X._. Ce dernier lui a faussement déclaré qu'il était en fin de vie en raison d'un cancer des poumons et lui a demandé de passer plus de temps avec lui. Il lui a fait croire que son beau-père avait dit du mal d'elle, alors qu'il savait qu'elle connaissait des problèmes avec ses parents. Il lui a offert de nombreux cadeaux et promis de lui donner une Porsche. C'est dans ce contexte que les faits suivants ont eu lieu: - En juin 2008, lors de la première séance de photos au domicile de X._, Y._ a accepté de dénuder ses seins sur l'insistance de ce dernier. Par la suite, elle a encore fait trois à cinq séances de photos, lors desquelles X._ a insisté pour qu'elle se dénude. Elle a d'abord accepté de montrer ses fesses, puis son sexe. Elle a également consenti à prendre des poses sexuellement suggestives et à utiliser des menottes, mais elle a refusé d'utiliser des godemichés et autres objets sexuels. - Entre mai et octobre 2008, X._ a photographié Y._ et l'une de ses amies dans des poses sexuellement suggestives. Les deux jeunes filles se sont retrouvées nues dans la baignoire de X._. - Un soir d'octobre 2008, X._ a offert un cocktail alcoolisé à Y._, ce qui l'a rendue un peu saoule. Se prétendant un expert en amour, notamment pour apprendre aux filles à prodiguer des fellations, X._ a déclaré à Y._ qu'il avait refusé une fellation parce qu'il voulait qu'elle soit la première à lui en prodiguer. Cette dernière a tout d'abord accepté de lécher un godemiché en suivant les conseils de X._. Celui-ci lui a alors proposé qu'elle lui fasse une fellation pour qu'il puisse mieux juger. Les intéressés se sont dirigés dans la chambre à coucher où la jeune fille s'est entièrement dévêtue. X._ l'a caressée avec un plumeau et l'a pénétrée avec un godemiché et des boules geisha. La jeune fille lui a ensuite prodigué une fellation en suivant ses conseils et s'est laissée lécher le sexe. B.b. Entre juin et octobre 2008, à deux reprises, Y._ qui dormait chez X._ s'est réveillée, alors que ce dernier lui caressait le sexe par-dessous son pyjama. B.c. Entre mai et octobre 2008, notamment avant les séances photos, X._ a remis de la marijuana a Y._, qu'elle a consommée, à savoir une vingtaine de joints au total. Il lui a également proposé du LSD qu'elle a refusé. B.d. Y._ a déposé une plainte pénale contre X._ le 6 septembre 2010. C. Contre ce jugement cantonal, X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut, principalement, à sa libération de tous les chefs d'accusation retenus contre lui, à la suppression de l'indemnité et des dépens alloués à la partie plaignante, ainsi qu'à l'allocation à lui-même d'une indemnité au titre de la prise en charge de l'exercice raisonnable de ses droits de procédure en première instance et en procédure d'appel. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause pour nouvelle décision.