Faits : A. Par jugement du 7 juin 2011, le Tribunal correctionnel de l'arrondissement de la Côte a libéré X._ des infractions d'escroquerie qualifiée et de gestion déloyale et l'a reconnu coupable d'escroquerie et d'abus de confiance. Il l'a condamné à une peine privative de liberté de 18 mois, avec sursis pendant deux ans, et il a dit qu'il était débiteur, solidairement avec G._, d'une somme totale de 900'087 francs, à rembourser aux parties plaignantes, acte leur étant donné, pour le surplus, de leurs réserves civiles. B. Par jugement du 15 mai 2012, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté les appels déposés, notamment, par X._ et G._, et confirmé le jugement attaqué. Par arrêt du 22 juillet 2013 (6B_587/2012), la Cour de droit pénal du Tribunal fédéral a partiellement admis le recours de X._, annulé le jugement précité et renvoyé la cause à l'autorité cantonale pour nouvelle décision. Elle a considéré que les conditions objectives et subjectives de l'infraction d'abus de confiance (art. 138 ch. 1 al. 2 CP) étaient réunies pour les sommes versées par les intimés sur les comptes dont H._ SA ou X._ étaient titulaires; en revanche, elle a jugé que X._ devait être acquitté de cette infraction en relation avec les fonds versés sur le compte ouvert au nom de G._ uniquement, car ceux-ci ne lui avaient pas été confiés au sens de l'art. 138 ch. 1 al. 2 CP. Elle a estimé qu'en l'absence de tout acte de participation à la tromperie astucieuse (notamment d'instructions à G._), X._ ne pouvait s'être rendu coupable d'escroquerie. C. Par nouveau jugement du 15 janvier 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a admis partiellement l'appel formé par X._, le condamnant à une peine privative de liberté de quinze mois avec sursis pendant deux ans. Suivant l'arrêt de renvoi, elle a acquitté X._ de l'infraction d'abus de confiance, pour la période avant mars 1999, pour les fonds versés sur le compte ouvert au nom de G._ uniquement, qui ne lui avaient pas été confiés (arrêt 6B_587/2012 du 22 juillet 2013, consid. 3.3.5). S'agissant de la seconde période, à savoir de la période après mars 1999, elle a acquitté X._ de l'infraction d'escroquerie (arrêt 6B_587/2012 consid. 4.3 et 4.4); lorsque les fonds avaient été versés sur un compte dont H._ SA ou X._ étaient titulaires, elle a retenu, en lieu et place, l'infraction d'abus de confiance. Concrètement, la cour cantonale a modifié la qualification juridique des infractions en relation avec les versements suivants: C.a. Entre 1997 et 2000, A.A._ et A.B._ ont opéré divers investissements. En relation avec ceux-ci, le tribunal de première instance avait condamné X._ et G._ pour escroquerie (jugement de première instance p. 169). A la suite de l'arrêt de renvoi du Tribunal fédéral, la cour cantonale a acquitté X._ de cette infraction. Comme le couple A._ avait versé leurs investissements sur les sous-comptes du compte intitulé Zooid appartenant à G._, l'infraction d'abus de confiance n'a pas été retenue à l'encontre X._ dans ce cas de figure. C.b. E._ a viré, entre le 9 avril et le 12 avril 1999, un montant total de CHF 80'000 sur le compte n° iii auprès de la Banque J._ à K._. Le montant de l'investissement de E._ a tout d'abord servi à rembourser le solde négatif de ce compte à hauteur de CHF 33'699.80. En outre, quelques jours plus tard, à savoir le 19 mai 1999, un montant de CHF 98'000 a été transféré par le débit du même compte en faveur de la société S._ SA avec mention " Reimbursment T._". G._ a confirmé que T._ était un investisseur qui avait demandé le remboursement de son capital. Pour ces faits, le tribunal de première instance avait condamné X._ et G._ pour escroquerie (jugement de première instance p. 171 s.). A la suite de l'arrêt de renvoi du Tribunal fédéral, la cour cantonale a acquitté X._ de l'infraction d'escroquerie, mais l'a condamné pour abus de confiance. C.c. C._ et D._ ont ordonné, le 7 décembre 1999, le transfert de la somme de CHF 150'000 auprès de J._ à R._, en faveur du compte J._ n° iii. Ces fonds ont servi au remboursement d'investisseurs et au paiement d'intérêts. Pour ces faits, le tribunal de première instance avait condamné X._ et G._ pour escroquerie (jugement de première instance p. 172 s.). A la suite de l'arrêt de renvoi du Tribunal fédéral, la cour cantonale a acquitté X._ de l'infraction d'escroquerie, mais l'a condamné pour abus de confiance. C.d. Le 8 février 2000, F._ a fait virer la somme de CHF 100'000 sur le compte n° iii, sous-compte n° mmm, ouvert auprès de J._ à K._. Le 19 juin 2000, il a fait virer la somme de CHF 65'000 sur le compte n° lll au nom de la société N._ Ltd auprès de la Banque O._ à P._. Ces fonds ont servi au remboursement d'investisseurs et au paiement d'intérêts. Pour ces faits, le tribunal de première instance avait condamné X._ et G._ pour escroquerie (jugement de première instance p. 173 s.). A la suite de l'arrêt de renvoi du Tribunal fédéral, la cour cantonale a acquitté X._ de l'infraction d'escroquerie. Elle l'a condamné pour abus de confiance pour le montant de CHF 100'000; l'abus de confiance n'a en revanche pas pu être retenu pour le montant de CHF 65'000, car celui-ci a été versé sur un compte appartenant à G._. C.e. Entre 1999 et le 14 mai 2003, feu Q._ a remis à G._ un montant de 90'000 fr., dont 20'000 fr. ont été remboursés. En relation avec ces faits, le tribunal de première instance avait condamné X._ et G._ pour escroquerie (jugement de première instance, p. 174). A la suite de l'arrêt de renvoi du Tribunal fédéral, la cour cantonale a acquitté X._ de l'infraction d'escroquerie; comme les fonds avaient été remis à G._, X._ n'a pas été condamné pour abus de confiance. D. Contre ce dernier jugement, X._ dépose devant le Tribunal fédéral un recours en matière pénale et un recours constitutionnel subsidiaire. Il conclut, principalement, à son acquittement de toute infraction, au rejet des conclusions civiles prises à son encontre et à l'allocation d'une indemnité à titre de dépens, ainsi que d'une indemnité à titre de dédommagement du préjudice subi du fait de la procédure pénale. A titre subsidiaire, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouveau jugement.