Faits :
A.
Par jugement du 25 septembre 2020, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que A._ s'était rendu coupable d'abus de confiance, l'a condamné à une peine privative de liberté de quatre ans, a annexé au procès-verbal une convention civile pour valoir jugement, a levé les séquestres pénaux sur des immeubles et des avoirs bancaires pour qu'ils reviennent aux lésés, a pris acte pour valoir jugement de ce que A._ avait acquiescé aux conclusions civiles prises contre lui par les parties plaignantes et a dit qu'en conséquence il devait immédiat paiement à B._, C._ et D._ des sommes de 12'917'728 fr. 20, 6'967'145,09 EUR et 243'676,50 USD, avec intérêt à 5 % l'an dès le 24 novembre 2016, a pris acte pour valoir jugement, de ce que A._ avait acquiescé aux conclusions prises par les parties plaignantes tendant au paiement d'une indemnité pour les dépenses obligatoires occasionnées par la procédure et a dit qu'en conséquence il devait immédiat paiement à B._, C._ et D._ de la somme de 200'000 fr., a fixé l'indemnité d'office de Me Alexandre Reil à 16'556 fr. 50, et a mis les frais de la cause, par 38'732 fr. 55, y compris l'indemnité allouée au défenseur d'office, à la charge du condamné, celui-ci devant rembourser l'indemnité à l'Etat dès que sa situation financière le permettra.
B.
Par jugement du 2 février 2021, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par A._.
En bref, il en ressort les éléments suivants.
B.a. Ressortissant de T._, A._ est né en 1952 à U._. Fils unique, il a été scolarisé à V._. Au décès de son père, survenu alors qu'il avait seize ans, il a commencé à travailler comme manoeuvre dans une société qui faisait de la vente de carrelage. Il a petit à petit progressé, devenant vendeur, puis représentant, avant d'assumer la fonction de directeur commercial.
En 1989, le milliardaire E._ a confié à A._, qui travaillait alors dans un bureau, la gestion des travaux de restauration de sa propriété familiale du Château I._, à W._. Peu à peu, des liens de confiance se sont tissés entre les deux hommes, si bien que le recourant a fini par administrer l'ensemble du domaine en question, notamment sur le plan financier. En 1993, E._ lui a offert le poste de directeur administratif au sein du journal J._, publication dont il était propriétaire. Dans la continuité de cette relation de confiance, A._ a également été nommé responsable des travaux du restaurant K._, à V._.
A._ était devenu l'homme de confiance de la famille, de sorte qu'au décès de E._, sa compagne, B._, qui était inexpérimentée en matière financière, s'est naturellement tournée vers lui pour gérer sa fortune et celle de ses enfants, C._ et D._. Le prénommé a donc été mandaté pour assurer la gestion de leurs avoirs bancaires et, à cet effet, s'est fait donner des procurations générales à partir d'octobre 1999. Dans les années 2005-2006, A._ était rémunéré par B._ à concurrence d'environ 12'000 EUR à 14'000 EUR par mois et percevait en outre une prime de fin d'année qui oscillait entre 150'000 EUR et 200'000 EUR. Pour sa participation à la mise sur pied de la vente du journal J._, il a encaissé une prime de 500'000 EUR.
B.b. Après que les faits qui font l'objet de la présente procédure eurent été découverts, A._ a présidé aux destinées de la société F._ jusqu'en 2014, percevant à ce titre des honoraires de quelque 10'000 EUR par mois. Aux prises avec les autorités fiscales de son pays, il s'est vu infliger un certain nombre d'amendes pour n'avoir pas déclaré les comptes bancaires dont il était titulaire en Suisse, amendes qu'il s'emploie à acquitter à raison de 1'850 EUR par mois. Menant l'existence d'un retraité, il vit aujourd'hui avec son épouse, dans un appartement qu'il loue à X._ et dispose mensuellement, tous revenus confondus, de 6'500 EUR à 6'600 EUR bruts. A._ dit souffrir d'un diabète insulino-dépendant depuis 1985, de problèmes cardiaques ainsi que, depuis quelques mois, d'une insuffisance rénale assez importante.
Le casier judiciaire suisse de A._ ne comporte pas d'inscription.
B.c. A Y._ (entre le 25.09.2005 et le 10.03.2009) et à Z._ (entre le 11.03.2009 et 22.12.2009), A._, qui était au bénéfice de procurations générales ou d'un droit de signature sur plusieurs comptes en banque a globalement détourné 15'128'245 fr., 9'102'819 EUR et 239'969 USD au préjudice de B._, C._ et D._, ainsi qu'au détriment de la société E._ Inc., en profitant du lien de confiance étroit qu'il entretenait avec cette femme et ses deux enfants.
B.d. Concrètement, A._ a utilisé deux méthodes pour s'enrichir abusivement. Il a ainsi détourné une partie des fonds incriminés en les faisant transférer sans droit sur plusieurs comptes en banque ouverts dans les livres de plusieurs établissements. Il s'est aussi approprié indûment de l'argent en procédant à d'importants prélèvements en espèces.
B.e. A._ a notamment alimenté indûment, à hauteur de respectivement 6'600'000 EUR, 5'755'000 fr. et 150'000 USD, ses deux comptes en banque ouverts dans les livres de l'établissement L._.
B.f. A._ a affecté les fonds qu'il s'est appropriés abusivement pour honorer des dettes fiscales le concernant par 300'000 EUR, constituer la société suisse H._ SA dans laquelle il a investi 150'000 fr. pour acquérir le 75 % du capital-actions de cette personne morale, financer partiellement l'acquisition de plusieurs biens immobiliers, ainsi que des travaux de construction, de transformation et de rénovation et assurer le paiement d'amortissements et d'intérêts hypothécaires.
B.g. B._, C._ et D._ ont déposé plainte pénale le 29 juillet 2010.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 2 février 2021. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est condamné à une peine privative de liberté de trois ans. L'exécution d'une partie de la peine privative de liberté portant sur 30 mois est suspendue et un délai d'épreuve de trois ans est fixé. Subsidiairement, il conclut à l'annulation du jugement et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Il requiert la désignation de Me Alexandre Reil en qualité d'avocat d'office, respectivement le bénéfice de l'assistance judiciaire et l'exonération des avances de frais. Il conclut à ce que l'entier des frais de première et deuxième instance, ainsi que ceux du présent recours comprenant l'indemnité de son conseil d'office, sont mis à la charge de l'État.
Considérant en droit :
1.
Le recourant se plaint d'une violation du principe de célérité. A cet égard, il remet en cause l'établissement des faits et l'appréciation des preuves.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (ATF 146 IV 88 consid. 1.3.1; 145 IV 154 consid. 1.1; 143 IV 241 consid. 2.3.1). Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (art. 106 al. 2 LTF; ATF 143 IV 500 consid. 1.1). Les critiques de nature appellatoire sont irrecevables (ATF 146 IV 88 consid. 1.3.1; 145 IV 154 consid. 1.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 144 II 281 consid. 3.6.2; 143 IV 500 consid. 1.1 et les références citées).
1.2. Les art. 5 CPP et 29 al. 1 Cst. garantissent notamment à toute personne le droit à ce que sa cause soit traitée dans un délai raisonnable. Ces dispositions consacrent le principe de la célérité et prohibent le retard injustifié à statuer. L'autorité viole cette garantie lorsqu'elle ne rend pas une décision qu'il lui incombe de prendre dans le délai prescrit par la loi ou dans le délai que la nature de l'affaire et les circonstances font apparaître comme raisonnable (ATF 143 IV 373 consid. 1.3.1; cf. ATF 130 I 312 consid. 5.1). Comme on ne peut pas exiger de l'autorité pénale qu'elle s'occupe constamment d'une seule et unique affaire, il est inévitable qu'une procédure comporte quelques temps morts. Lorsqu'aucun d'eux n'est d'une durée vraiment choquante, c'est l'appréciation d'ensemble qui prévaut; des périodes d'activités intenses peuvent donc compenser le fait que le dossier a été laissé momentanément de côté en raison d'autres affaires. Le principe de la célérité peut être violé, même si les autorités pénales n'ont commis aucune faute; elles ne sauraient exciper des insuffisances de l'organisation judiciaire (ATF 130 IV 54 consid. 3.3.3).
Selon la jurisprudence, apparaissent comme des carences choquantes une inactivité de treize ou quatorze mois au stade de l'instruction ou encore un délai de dix ou onze mois pour que le dossier soit transmis à l'autorité de recours (ATF 130 IV 54 consid. 3.3.3.; arrêt 6B_845/2020 du 5 novembre 2020 consid. 2.1).
La violation du principe de la célérité peut avoir pour conséquence la diminution de la peine, parfois l'exemption de toute peine ou encore une ordonnance de classement en tant qu' ultima ratio dans les cas les plus extrêmes (ATF 143 IV 373 consid. 1.4.1; 135 IV 12 consid. 3.6; arrêts 6B_101/2021 du 22 décembre 2021 consid. 3.5.1; 6B_170/2020 du 15 décembre 2020 consid. 1.1).
L'exigence découlant du principe de la célérité se distingue de la circonstance atténuante de l'écoulement du temps (art. 48 let. e CP). Cependant, lorsque les conditions de l'art. 48 let. e CP et d'une violation du principe de la célérité sont réalisées, il convient de prendre en considération les deux facteurs de réduction de peine (arrêts 6B_138/2019 du 6 août 2019 consid. 3.2.1; 6B_189/2017 du 7 décembre 2017 consid. 5.3.1; 6B_14/2007 du 17 avril 2007 consid. 6.8.1).
1.3. La cour cantonale a retenu, à décharge, la circonstance de l'art. 48 let. e CP, puisque plus des deux tiers du délai de prescription de l'action pénale était écoulée et que le recourant s'était bien comporté dans l'intervalle. En revanche, elle a écarté une violation du principe de célérité. Elle a retenu que le passage en revue du procès verbal des opérations, qui comporte cinquante-trois pages, montrait qu'il n'y avait pas eu de temps morts dans le déroulement de la procédure qui avait été menée sans désemparer, ni de carences dans l'instruction qui avait été rendue complexe par la nécessité de mettre à jour de manière précise les actes punissables, l'enrichissement obtenu et de veiller dans la mesure du possible à la restitution après remploi, des valeurs patrimoniales détournées sans pour autant léser les intérêts des tiers. Si le recourant avait certes donné quelques indications sur ses activités coupables, il avait fallu procéder à des commissions rogatoires à T._, à des analyses financières longues et poussées, au dépouillement de nombreux et volumineux documents bancaires, mettre des biens sous séquestre et gérer ceux-ci et entendre le recourant domicilié à T._. Le ministère public avait dû rendre trente et une décisions. Il avait fallu réitérer des actes de procédure accomplis une première fois. Ainsi, un avis de prochaine clôture avait été délivré le 15 décembre 2015 et, à nouveau, le 13 décembre 2018; un acte d'accusation avait été dressé le 11 mars 2019, puis le 8 juin 2020; une audience de jugement fixée en 2019 avait dû être renvoyée.
1.4. Le recourant soutient que la cour cantonale serait tombée dans l'arbitraire en retenant qu'il était à l'origine des difficultés de l'instruction. En résumé, il soutient qu'il se serait dénoncé lui même à B._ et qu'il avait collaboré avec la justice en exposant en détail, dès le début de la procédure, son mode opératoire, le montant des sommes détournées ainsi que la destination de ces montants, facilitant ainsi l'instruction. En l'espèce, la cour cantonale n'a pas retenu qu'il avait retardé la procédure par son comportement durant l'instruction. Elle a d'ailleurs retenu qu'il avait donné quelques explications sur ses activités coupables. Cela étant, il n'en restait pas moins que la complexité de l'affaire découlait directement de son comportement punissable, qui avait conduit notamment au dépouillement de nombreux et volumineux documents bancaires, à des analyses financières poussées, à la mise sous séquestre de biens et leur gestion et à des commissions rogatoires.
Le recourant soutient également que la cour cantonale aurait arbitrairement retenu qu'un litige avait opposé les parties plaignantes à la banque compliquant ainsi la procédure. Il considère que ces éléments ne pouvaient pas lui être imputés dès lors qu'ils étaient extérieurs à sa volonté. Il soutient aussi qu'il aurait joué un rôle actif pour permettre aux parties de trouver un accord, notamment en procédant à la réalisation d'un immeuble et en cherchant des personnes intéressées pour deux autres immeubles. En l'espèce, les difficultés rencontrées pour veiller à la restitution après remploi, des valeurs patrimoniales détournées sans pour autant léser les intérêts des tiers découlaient directement des actes punissables du recourant qui avait acquis des immeubles en partie avec les fonds soustraits et en partie à l'aide d'hypothèques. Dès lors, la cour cantonale n'a pas versé dans l'arbitraire. Les critiques du recourant doivent être rejetées dans la mesure où elles sont recevables.
1.5. Le recourant se plaint d'une violation du principe de célérité. Il soutient qu'il y aurait eu plusieurs "temps morts" qui totaliseraient une inaction de plus de 5 ans des autorités pénales. Plus particulièrement, il se prévaut d'un premier "temps mort" de deux ans et demi entre le dépôt de la plainte pénale, le 29 juillet 2010, et sa première audition devant le ministère public, le 25 avril 2012. Contrairement à ce que soutient le recourant, durant cette période, de nombreuses démarches ont été effectuées qui ne peuvent pas être qualifiées de minimes. En effet, il ressort du procès-verbal des opérations, totalisant 12 pages pour cette première période, une action sans discontinuité de la part du ministère public, à savoir, notamment l'envoi de nombreux courriers aux banques concernées et aux parties, plusieurs demandes de commission rogatoire internationale, de nombreux ordres de production de pièces et des ordonnances de séquestre, le rejet d'une réquisition de séquestre, une ordonnance de refus de levée de séquestre, une décision de refus d'exécution d'une procédure simplifiée demandée par le recourant et l'audition d'un témoin clé (Procès-verbal des opérations, p. 1-12; art. 105 al. 2 LTF). Le recourant prétend ensuite à l'existence d'un "temps mort" d'un an entre la fin d'année 2012 et 2013. A nouveau, une analyse du procès-verbal des opérations ne permet aucunement d'arriver à un tel constat. En effet, durant cette période, outre les nombreux courriers envoyés et reçus par le ministère public, des ordonnances ont été rendues (séquestre, refus de séquestre), des productions de pièces ont été ordonnées auprès de plusieurs banques. Il ressort également que le procureur a été en contact étroit avec l'analyste en criminalité économique pour s'enquérir de l'évolution de son rapport et que ce rapport a dû être complété sur la base de divers éléments communiqués par les plaignants (Procès-verbal des opérations, p. 15-18; art. 105 al. 2 LTF). Le recourant fait encore valoir un an d'inaction entre 2014 et 2015, un an à la fin de l'année 2015 puis six mois depuis l'été 2017. Encore une fois, ces affirmations sont contredites par les nombreuses activités déployées par le ministère public qui ressortent du procès-verbal des opérations. Finalement, le recourant relève que plus d'une année s'était écoulée entre la date retenue pour la première audience et la seconde, car le ministère public avait requis le renvoi afin de compléter son acte d'accusation. A cet égard, il ressort du jugement attaqué qu'un acte d'accusation avait été dressé, le 11 mars 2019, puis le 8 juin 2020 raison pour laquelle une audience de jugement fixée en 2019 avait dû être renvoyée. Outre que le recourant ne remet pas en cause les raisons qui ont conduit le ministère public à l'établissement d'un nouvel acte d'accusation, aucune interruption dans l'activité des autorités pénales n'apparaît jusqu'à la nouvelle audience de jugement. Partant, la cour cantonale a retenu, à raison, que la procédure avait été menée avec diligence.
1.6. Le recourant reproche la longueur globale de la procédure qui a duré plus de 10 ans. Certes, la durée d'ensemble de la procédure est relativement longue. Cette durée n'étant pas imputable à des carences des autorités pénales, la cour cantonale a retenu qu'elle s'expliquait par différents éléments rendant l'instruction complexe. Le recourant soutient que la cour cantonale aurait arbitrairement retenu que les commissions rogatoires et la mise sur place d'analyses financières longues et poussées justifiaient la longueur de la procédure. En substance, il soutient que les tableaux de l'analyste financier auraient déjà été déposés en 2014 et que les analyses financières auraient été grandement facilitées par son mode opératoire dénué de complexité et sa grande collaboration à l'établissement des faits. Le recourant se limite à des affirmations appellatoires reposant sur sa propre appréciation de la situation. Au demeurant, la cour cantonale a bien retenu qu'il avait donné quelques indications sur ses activités coupables. Cela étant, ces indications n'ont aucunement dispensé les autorités pénales d'un long travail pour déterminer de manière précise les actes reprochés. S'agissant des tableaux de l'analyste financier, il ressort du procès-verbal des opérations qu'une première version a été déposée en 2014. En date du 21 novembre 2018, il a encore été versé au dossier des tableaux avec un classement des détournements par date et un tableau de synthèse mis à jour (Procès-verbal des opérations, p. 34; art. 105 al. 2 LTF). Quoi qu'il en soit, le recourant perd de vue que la complexité du cas n'était pas liée uniquement aux deux éléments qu'il critique. En effet, outre les analyses financières longues et poussées et les commissions rogatoires à T._, la cour cantonale a retenu qu'il avait fallu déterminer de manière précise les actes punissables, l'enrichissement obtenu et veiller dans la mesure du possible à la restitution après remploi, des valeurs patrimoniales détournées sans pour autant léser les intérêts des tiers. Il avait également fallu procéder au dépouillement de nombreux et volumineux documents bancaires, mettre des biens sous séquestre et gérer ceux-ci et entendre le recourant domicilié à T._. Au total, le ministère public avait dû rendre trente et une décisions. Dès lors, on ne voit pas, compte tenu de la complexité de l'affaire, que la procédure - considérée globalement - aurait connu un déroulement particulièrement long.
Au demeurant, le recourant n'expose pas l'éventuelle gravité de l'atteinte qu'il aurait subie du fait de la longueur de la procédure. Il se limite à dire, de manière générale, qu'il était resté dans l'incertitude quant à son sort pendant plus de 10 ans.
Au vu de ce qui précède, le grief doit être rejeté dans la mesure où il est recevable.
1.7. Par surabondance, il est encore à noter que le grief relatif à une éventuelle violation du principe de célérité était en tout état de cause vain, dès lors que la cour cantonale avait estimé que, même dans l'hypothèse où il aurait fallu tenir compte d'une violation du principe de célérité, la peine n'aurait pas été inférieure à celle qu'elle avait prononcée (cf. infra consid. 3.4), puisqu'elle l'avait été en application de l'interdiction de la reformatio in pejus (cf. jugement attaqué, ch. 7.3.2, p. 26).
2.
Se plaignant d'arbitraire, le recourant affirme que lorsque la cour cantonale a retenu la volonté de réparer du recourant, le montant de la "réparation" retenu serait faux, ce dernier aurait été en réalité bien plus élevé. Il affirme également que la cour cantonale aurait ignoré la convention conclue par les parties à l'audience du 25 septembre 2020. On peine à comprendre les critiques du recourant s'agissant du montant retenu, dans la mesure où la cour cantonale, dans le cadre de la fixation de la peine, n'articule aucun montant de "réparation". En effet, elle retient, à décharge, globalement la volonté de réparer du recourant. En outre, on voit mal en quoi la cour cantonale aurait ignoré la convention entre les parties dès lors que le jugement attaqué confirme le dispositif du jugement rendu le 25 septembre 2020 qui annexe, pour valoir jugement, cette convention. Partant, les critiques du recourant sont irrecevables.
3.
Invoquant les art. 47 et 50 CP, le recourant se plaint d'un défaut de motivation s'agissant des critères utilisés par la cour cantonale pour fixer la peine. Il reproche également à la cour cantonale d'avoir mathématisé la peine et soutient que les éléments à décharge n'auraient pas été pris en compte.
3.1. Selon l'art. 47 CP, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2). La culpabilité doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (ATF 141 IV 61 consid. 6 et les références citées).
Le juge dispose d'un large pouvoir d'appréciation dans le cadre de la fixation de la peine. Le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a fixé une peine en dehors du cadre légal, si elle s'est fondée sur des critères étrangers à l'art. 47 CP, si des éléments d'appréciation importants n'ont pas été pris en compte ou, enfin, si la peine prononcée est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (ATF 144 IV 313 consid. 1.2; 136 IV 55 consid. 5.6). L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur dont il tient compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (art. 50 CP). Le juge peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit justifier la peine prononcée, en permettant de suivre le raisonnement adopté, même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite. Un recours ne saurait toutefois être admis simplement pour améliorer ou compléter un considérant lorsque la décision rendue apparaît conforme au droit (ATF 144 IV 313 consid. 1.2; 136 IV 55 consid. 5.6).
3.2. Aux termes de l'art. 49 al. 1 CP, si, en raison d'un ou de plusieurs actes, l'auteur remplit les conditions de plusieurs peines de même genre, le juge le condamne à la peine de l'infraction la plus grave et l'augmente dans une juste proportion. Il ne peut toutefois excéder de plus de la moitié le maximum de la peine prévue pour cette infraction. Il est en outre lié par le maximum légal de chaque genre de peine. L'exigence, pour appliquer l'art. 49 al. 1 CP, que les peines soient de même genre, implique que le juge examine, pour chaque infraction commise, la nature de la peine à prononcer pour chacune d'elle. Le prononcé d'une peine d'ensemble en application du principe de l'aggravation contenu à l'art. 49 CP n'est ensuite possible que si le juge choisit, dans le cas concret, le même genre de peine pour sanctionner chaque infraction commise (ATF 144 IV 313 consid. 1.1.1 et les références citées). Que les dispositions pénales applicables prévoient abstraitement des peines de même genre ne suffit pas. Si les sanctions envisagées concrètement ne sont pas du même genre, elles doivent être prononcées cumulativement. La peine privative de liberté et la peine pécuniaire ne sont pas des sanctions du même genre (ATF 144 IV 313 consid. 1.1.1 et les références citées).
3.3. Lorsqu'il s'avère que les peines envisagées concrètement sont de même genre, l'art. 49 al. 1 CP impose au juge, dans un premier temps, de fixer la peine pour l'infraction abstraitement - d'après le cadre légal fixé pour chaque infraction à sanctionner - la plus grave, en tenant compte de tous les éléments pertinents, parmi lesquels les circonstances aggravantes ou atténuantes. Dans un second temps, il augmentera cette peine pour sanctionner chacune des autres infractions, en tenant là aussi compte de toutes les circonstances y relatives (ATF 144 IV 313 consid. 1.1.2; cf. ATF 127 IV 101 consid. 2b; arrêts 6B_249/2021 du 13 septembre 2021 consid. 5.2; 6B_36/2019 du 2 juillet 2019 consid. 3.6.2; 6B_1175/2017 du 11 avril 2018 consid. 2.1).
3.4. La cour cantonale a exposé de manière détaillée le raisonnement des premiers juges qu'elle reprend pour sien dans une large mesure. Elle a estimé, à l'instar des premiers juges, que la culpabilité du recourant était très lourde, imposant une sanction incompatible avec l'octroi d'un sursis. En substance, la cour cantonale a retenu un mobile futile et méprisable, le recourant avait voulu s'enrichir illicitement par cupidité mêlée, le cas échéant, à un besoin d'imiter le luxe dans lequel évoluait la famille qui l'employait. Alors que le premier pas compte, il était symptomatique que le recourant ne se souvienne pas des circonstances de son premier détournement, des scrupules qu'il avait dû vaincre et de la pulsion qui l'avait fait agir. Il s'agissait d'une délinquance crapuleuse à laquelle s'était voué un homme qui réalisait un haut revenu à l'échelle française, soit un salaire mensuel de 12'000 EUR à 14'000 EUR, auquel s'ajoutait une prime annuelle de 150'000 EUR à 200'000 EUR, ce qui aboutissait à un revenu mensuel moyen de 27'000 EUR. Il percevait également des versements ponctuels élevés, à l'instar d'une commission de 500'000 EUR dans le cadre d'une vente. Le recourant avait donc d'autant moins de raisons de s'emparer du bien d'autrui. Cette délinquance, favorisée par la facilité à détourner l'argent, avait été érigée en système. Il avait usé de deux méthodes mettant à profit les procurations générales qui lui avaient été données, soit de transferts créditant ses propres comptes et des prélèvements en espèces. Le fait que les moyens mis en oeuvre n'étaient pas sophistiqués ne constituait à l'évidence pas une circonstance atténuante, au contraire. En outre, la cour cantonale a retenu que le butin atteignait le montant faramineux de 25'000'000 fr., soit durant cinquante et un mois, le recourant avait touché un revenu mensuel moyen de plus de 490'000 francs. Le terme de dérapage, soit une sorte d'accident personnel, n'était pas compatible avec une entreprise criminelle constante étalée sur plus de quatre ans et procurant un tel enrichissement. Le recourant avait étouffé ses scrupules, ignoré les multiples occasions de se reprendre et n'avait pas hésité à encaisser ses boni tout en dépouillant ses bienfaiteurs, ajoutant une trahison affective à sa trahison de travailleur de confiance. La fin des agissements coupables résultait de l'intervention d'un tiers qui avait mis à jour des mouvements suspects en 2009. Ils se seraient poursuivis sans discontinuer sans ces opportuns questionnements.
La cour cantonale a confirmé les éléments à charge et à décharge retenus par les premiers juges. Ainsi, la circonstance prévue à l'art. 48 let. e CP a été retenue et une violation du principe de célérité a été écartée (cf. supra consid. 1). Elle a également confirmé que les premiers juges avaient, à bon droit, écarté le repentir sincère, tout en retenant comme éléments à décharge dans l'appréciation générale de la culpabilité la collaboration durant l'enquête, la volonté de réparer, un vrai remord et une prise de conscience effective. Il a encore été pris en compte, à décharge, mais dans une plus faible mesure, l'âge du recourant et ses problèmes de santé. Comme les premiers juges, la cour cantonale a retenu l'aggravante du concours. En sus, elle a retenu que la qualification de gérant de fortune n'avait pas été retenue au stade de la mise en accusation, alors même que l'acte d'accusation du 8 juin 2020, repris dans l'état de fait du jugement, disait que le recourant avait été mandaté pour gérer la fortune et assurer la gestion des avoirs bancaires des parties plaignantes. Ainsi, la cour cantonale a retenu que si une qualification juridique divergente ne pouvait pas être retenue ici (art. 391 al. 2 CPP), rien ne l'empêchait de tenir compte, à charge, d'une activité de gestion des avoirs bancaires.
En définitive, la cour cantonale a estimé qu'en tenant compte uniquement des quinze alimentations illicites des comptes à L._ et des circonstances atténuantes, en particulier celle tirée de l'art. 48 let. 2 CP, la peine devait être fixée à vingt-quatre mois pour le butin de 3'300'000 francs (08.11.2007). Par effet de concours des abus de confiance successifs, il convenait de la majorer à chaque fois de six mois pour les butins de 1'250'000 fr. (11.08 2008), et de deux fois 1'200'000 EUR (31.07.2006 et 07.03 2007), à chaque fois de quatre mois pour les butins de trois fois 1'000'000 EUR (17.04.2007; 22.05.2007 et 12.06.2008), de trois mois pour le butin de 600'000 fr. (28.04.2008), à chaque fois de deux mois pour les butins de 450'000 EUR (22.01.2009), de deux fois 400'000 fr. (17.04.2008 et 05.12.2008) et à chaque fois d'un mois encore pour les butins de 205'000 fr. (16.10.2008), de 200'000 EUR (18.11.2008), de 150'000 EUR (11.09.2008) et de 150'000 USD (24.10.2008), pour un total de soixante-neuf mois (sic) [soixante-sept mois]. La cour cantonale, conformément à l'interdiction de la reformatio in pejus, a constaté qu'elle ne pouvait pas fixer une peine supérieure à celle prononcée par les premiers juges, si bien qu'elle s'en tenait à la peine privative de liberté de quatre ans, quotité incompatible avec l'octroi d'un sursis partiel.
3.5. On peine a comprendre le reproche du recourant, selon lequel, la cour cantonale n'aurait pas pris en compte toutes les circonstances atténuantes retenues, alors même qu'il cite exhaustivement l'ensemble des éléments retenus à décharge par la cour cantonale. Il ne fait aucun doute que lorsque la cour cantonale se réfère de manière globale aux "circonstances atténuantes, en particulier celle tirée de l'art. 48 let. e CP" (cf. jugement attaqué, ch. 7.3.2, p. 25), elle se rapporte à toutes les circonstances atténuantes détaillées précédemment dans son jugement. Par ailleurs, la critique du recourant est vaine lorsqu'il allègue que le jugement entrepris n'explique pas le poids accordé à chacun des éléments d'atténuation cités. Il appartenait en effet à la cour cantonale d'exposer quels éléments elle prenait en compte dans le cadre de la fixation de la peine, ce qu'elle a fait, mais elle n'était pas tenue d'exprimer en chiffres ou en pourcentages l'importance qu'elle accordait à chacun des éléments qu'elle citait (cf. supra consid. 3.1). Les critiques du recourant sont rejetées dans la mesure où elles sont recevables.
3.6. Le recourant soutient que la cour cantonale aurait mathématisé la peine de manière incompréhensible en attribuant un certain nombre de mois de peine privative de liberté en fonction des montants détournés. En l'espèce, la cour cantonale a retenu que les multiples abus de confiance successifs entraient en concours. Elle a fixé une peine de base pour l'abus de confiance abstraitement le plus grave en tenant compte de l'ensemble des circonstances. Il ressort du jugement attaqué que le recourant n'a pas contesté le genre de peine, mais uniquement la quotité de cette dernière. Quoi qu'il en soit, on comprend du jugement attaqué que seule la peine privative de liberté était envisagée pour les multiples abus de confiance. Dans un deuxième temps, la cour cantonale a augmenté la peine pour sanctionner chacun des autres abus de confiance en fonction des montants concernés. La méthodologie suivie est adéquate. On comprend que tous les éléments pertinents ont également été pris en considération, étant donné qu'ils étaient identiques pour les quinze abus de confiance, le seul facteur de variation était le montant des valeurs patrimoniales concernées. Ainsi, contrairement à ce que semble invoquer le recourant, la cour cantonale n'a aucunement standardisé la peine de manière proscrite. La motivation de la cour cantonale justifie la peine prononcée et permet de suivre le raisonnement adopté par la cour cantonale. Partant, le grief du recourant est rejeté dans la mesure où il est recevable.
3.7. Pour le surplus, le recourant propose sa propre appréciation en matière de fixation de la peine et conclut à une peine qui ne saurait excéder quatre ans (en dehors d'une éventuelle violation du principe de célérité). Malgré ce qu'il affirme, il n'invoque aucun élément, propre à modifier la peine, que la cour cantonale aurait omis ou pris en considération à tort. Son exposé est appellatoire, partant irrecevable.
4.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Le recourant, qui succombe, supportera les frais judiciaires réduits (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties (y compris les parties plaignantes) et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 avril 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Meriboute