Faits :
A.
A.a. E._, née en 1923 et F._ se sont mariés le 11 avril 1944 et ont eu cinq enfants, soit A._ (1945), G._ (1946), C._ (1947), H._ (1951) et B._ (1960).
A.b. F._ est décédé en 1979. Il a laissé à son épouse l'usufruit de ses biens. Les personnes précitées ont conclu un acte de partage de la succession, E._ étant usufruitière de l'entier des biens successoraux et chacun des enfants recevant un cinquième desdits biens en nue-propriété. Il était en outre convenu que chaque enfant devait ouvrir un compte de nu-propriétaire, leur mère ayant l'usufruit sur les intérêts.
A.c. E._ était notamment titulaire d'un compte n° xxxx ouvert auprès de la banque I._ & Cie conjointement avec A._. B._ disposait d'une procuration illimitée sur ce compte. Selon le formulaire A contenu dans la documentation d'ouverture du compte, E._ était l'ayant droit économique des valeurs patrimoniales déposées sur celui-ci.
Par lettre manuscrite datée de " Noël 1996 ", E._ a déclaré qu'elle souhaitait aider ses fils A._ et B._ et donner à ceux-ci la totalité de l'argent déposé auprès de J._ & Cie et de K._, où elle disposait également d'un compte. Les 21 février et 4 avril 1997, E._ a retiré pour solde de tout compte 704'390 fr. 90 auprès des banques J._ & Cie et K._. La quittance de prélèvement comporte la mention manuscrite " déposé chez I._ ".
Par lettre datée de janvier 1999, destinée à ses deux fils, E._ a invité ceux-ci à disposer librement de l'argent qu'elle leur avait donné.
A.d.
A.d.a. Le 12 février 1999, A._ et B._ ont ouvert un compte joint solidaire numérique n° yyyy auprès de la banque I._, avec procuration en faveur de E._.
Les actions et avoirs déposés sur le compte n° xxxx ont été transférés sur ce compte, lequel a ainsi été crédité de 711'459 fr. 52.
Le 26 février 1999, un montant de 109'251 fr., contre-valeur de 450'000 francs français, provenant de la vente immobilière d'un terrain sis à U._ (France), dont E._ était propriétaire, a également été crédité sur le compte n° yyyy.
A.d.b. Divers montants ont été prélevés sur ce compte joint n° yyyy.
Il n'est plus contesté que A._ a retiré un montant total de 339'529 fr. 90 entre 2000 et 2004 et que B._ a retiré un montant total de 350'000 fr. entre 2000 et 2002.
Il a été retenu que B._ a encore retiré un montant de 150'000 fr. le 2 mars 2000, ce qu'il conteste. A._ soutient en outre que son frère a retiré 100'000 fr. le 9 février 2001, ce qui n'a pas été retenu. Quatre autres prélèvements ont été effectués sur le compte n° yyyy, d'un montant total de 103'425 fr., entre 1999 et 2002. B._ affirme que A._ est l'auteur du retrait de 10'000 fr. le 5 septembre 2001 et de celui de 22'425 fr. le 1er juillet 2002, ce qui n'a pas été retenu.
Par ailleurs, un montant total de 120'000 fr. a été versé sur ledit compte entre 2000 et 2001. Il est incontesté que B._ est l'auteur du versement de 50'000 fr. le 1er décembre 2000. Celui-ci affirme l'être aussi du reste de ce montant, soit 70'000 fr. supplémentaires, ce qui n'a pas été retenu.
A.e. G._ est décédée le 9 janvier 2009, instituant pour seul et unique héritier son frère B._.
A.f. E._ a rédigé plusieurs testaments. En dernier lieu, par testament public du 14 juillet 2009, établi par devant Me D._, notaire, elle a annulé et révoqué toutes dispositions testamentaires antérieures (ch. I). Cela fait, elle a réduit C._, H._ et B._ à leur réserve, et a institué comme héritier de la quotité disponible ainsi obtenue A._ (ch. II).
Elle a en outre précisé avoir effectué les donations et libéralités suivantes (ch. III) :
"3.1 A H._
- Février 1999: CHF 100'000.- (produit de la vente de U._);
- 21.09.1999: CHF 29'851.60;
- 30.07.2001: CHF 75'000.-;
- 05.12.2001: CHF 23'800.-;
- Courant 2009: CHF d'un montant à déterminer, représentant la part réservataire de E._ dans la succession de sa fille G._.
Ces cinq avances d'hoiries sont stipulées rapportables dans ma succession.
3.2 A B._
Janvier 1999: CHF 400'000.-
Cette avance d'hoirie est stipulée rapportable dans ma succession.
3.3 A A._
Janvier 1999 : CHF 339'529.90
Cette donation est faite avec dispense de rapport à ma succession. "
Elle a par ailleurs nommé Me D._ en qualité d'exécuteur testamentaire (ch. IV).
A.g. E._ est décédée le 27 février 2013 à V._ (GE).
A.h. Le 27 mars 2013, B._ a sollicité le bénéfice d'inventaire auprès de la Justice de paix de Genève. Le notaire commis à cet effet a remis l'inventaire le 28 février 2014. Il en ressort notamment des donations rappelées et stipulées rapportables de 228'651 fr. 50 en faveur de H._ et de 400'000 fr. en faveur de B._, ainsi qu'une donation rappelée et stipulée non rapportable de 339'529 fr. 90 en faveur de A._, une masse brute partageable de 849'460 fr. 80 et une masse brute de calcul des réserves de 1'188'999 fr. 70.
A.i. Interpellé par l'AFC suite à une dénonciation spontanée de A._, B._ a contesté avoir reçu une donation en espèces de sa mère.
A.i.a. L'AFC a assujetti B._ aux droits d'enregistrement pour une donation de 400'000 fr. et lui a infligé une amende pour dépôt tardif, ainsi qu'une amende pour fraude, décision confirmée sur réclamation du 6 janvier 2014, contre laquelle il a interjeté recours.
A.i.b. Le 1 er septembre 2014, le Tribunal administratif de première instance de Genève a rejeté ledit recours.
A.i.c. Le 8 décembre 2015, la Chambre administrative de la Cour de justice du canton de Genève (ci-après: Chambre administrative) a rejeté le recours interjeté par B._ contre cette décision.
Durant la procédure, A._ a déclaré qu'il disposait des relevés et des copies des reçus de prélèvements car il les avait demandés régulièrement à la banque afin de renseigner sa mère sur l'évolution du compte joint. C'était sur la base de ces indications et pièces que sa mère avait mentionné dans son testament public qu'il avait reçu 330'000 fr. et son frère 400'000 fr.
La Chambre administrative a notamment considéré que les déclarations contradictoires du recourant au sujet des prélèvements effectués sur le compte n° yyyy n'étaient pas crédibles. Le récépissé du prélèvement de 150'000 fr. comportait en effet une signature similaire à celle figurant sur la lettre du 20 décembre 2002 par laquelle le recourant avait mis fin à sa relation bancaire auprès de la banque I._, ainsi qu'à celles apposées sur les quittances des retraits des 29 août 2000 et 26 mars 2002, qu'il admettait avoir effectués. Les déclarations du recourant lors de son audition du 26 février 2015, faisant état de son souvenir des prélèvements effectués sur le compte n° yyyy et de l'utilisation de celui-ci comme un compte courant, ce qui, selon lui, expliquait ses retraits, le confondaient également. La Chambre administrative a en outre retenu que la quittance du 9 février 2001, dont le recourant niait être le signataire, portait un paraphe formé de la première et de la dernière lettres de sa signature et se présentait dans la même forme que celles relatives aux prélèvements reconnus. Elle a dès lors considéré comme établi, sur la base de ces relevés, que le recourant avait retiré la somme de 450'000 fr. du compte n° yyyy dont à déduire les 50'000 fr. qu'il avait versés sur ce compte au mois de décembre 2000.
A.i.d. Par arrêt 2C_89/2016 du 14 novembre 2016, le Tribunal fédéral a rejeté le recours interjeté par B._ contre cet arrêt.
B.
B.a.
B.a.a. Par acte déposé au greffe du Tribunal de première instance de Genève (ci-après: tribunal) le 21 mars 2014, introduit au fond le 2 mars 2015, B._ et H._ ont formé une action en nullité, subsidiairement en réduction et restitution, à l'encontre de C._, A._ et Me D._ en sa qualité d'exécuteur testamentaire.
Ils ont conclu à ce que le tribunal prononce la nullité du testament du 14 juillet 2009, subsidiairement prononce la nullité partielle des dispositions inscrites sous chiffre II du testament en tant qu'elles réduisaient C._, H._ et B._ à leur réserve et octroyaient la quotité disponible à A._; prononce la nullité partielle des dispositions inscrites sous chiffre III, point 3.1 (concernant les libéralités faites à H._), en ce sens que seules les avances d'hoiries de 2001 n'étaient pas contestées; dise que ces dernières n'étaient pas rapportables; prononce la nullité des dispositions inscrites sous chiffre III, point 3.2 (concernant les libéralités faites à B._).
A titre subsidiaire, les demandeurs ont conclu à ce que le tribunal réserve le calcul des libéralités sujettes à réduction faites à A._, ainsi que leurs conclusions en réduction et en restitution.
C._ et Me D._ s'en sont rapportés à justice.
A._ a conclu au déboutement des demandeurs. Il a formé une demande reconventionnelle pour que le tribunal constate que B._ avait reçu de E._ 400'000 fr. à titre d'avancement d'hoirie; que cette somme était rapportable à la succession de E._; que la créance produite par B._ à concurrence de 10'000 fr. dans la succession de E._ en date du 11 juin 2013 était inexistante. Il a pris des conclusions constatatoires relatives aux donations perçues par H._. Il a en outre conclu à ce que le tribunal constate que la masse brute partageable de la succession de E._ s'élevait à 849'469 fr. 80 et la masse brute de calcul des réserves à 1'188'999 fr. 70.
B.a.b. H._ est décédé le 15 février 2016 et sa succession a été répudiée et liquidée par voie de faillite.
B.a.c. Par jugement du 16 janvier 2020, le tribunal, a débouté B._ de ses conclusions en nullité (chiffre 1 du dispositif), dit que B._ avait perçu une dotation de 330'000 fr., laquelle était rapportable dans la succession de E._ (ch. 2), dit que A._ avait perçu une dotation de 32'425 fr., laquelle était rapportable dans ladite succession (ch. 3), dit que la masse brute de calcul des réserves de la succession de E._ se montait à 1'122'987 fr. 50 (ch. 4), débouté B._ de ses conclusions en réduction (ch. 5), et débouté les parties de toutes autres conclusions (ch. 8).
B.b.
B.b.a. Par acte expédié le 17 février 2020 à la Cour de justice du canton de Genève (ci-après: cour de justice), B._ a formé appel de ce jugement. A titre préalable, il a conclu à ce que la cour ordonne l'audition de L._ (conclusion n° 1), une expertise graphologique des pièces produites par A._ le 18 janvier 2019, soit le courrier original de M._ et ses annexes (conclusion n° 2), et la production par A._ des quittances des quatre retraits bancaires qu'il attribue à B._ en vue de les faire expertiser (conclusion n° 3). Sur le fond, il a conclu, à l'annulation des chiffres 1 et 2 du jugement entrepris (conclusions n° 4 et 11). Cela fait, il a conclu principalement, sur action en nullité, à ce que la cour de justice prononce la nullité du testament du 14 juillet 2009 de feu E._, notamment la disposition inscrite sous chiffre III, point 3.2, " en tant qu'il est démontré que ce point est erroné et que la de cujus a été mise dans l'erreur par A._ " (conclusion n° 5). Il a conclu subsidiairement, sur action en réduction, à ce que la cour de justice constate qu'il n'est pas l'auteur des prélèvements de 150'000 fr. (ramenés à 149'999 fr.) le 2 mars 2000 et de 100'000 fr. le 9 février 2001 (conclusion n° 6), corrige la masse brute partageable en conséquence (conclusion n° 7), constate que sa réserve est lésée, dès lors qu'il avait perçu 80'001 fr. en lieu et place de 180'560 fr. 35 (conclusion n° 8), et à ce que A._ "et tout autre opposant " soient déboutés de toutes conclusions (conclusion n° 10).
Par acte expédié le 17 février 2020 à la cour de justice, A._ a également formé appel du jugement susmentionné. Il a conclu à l'annulation des chiffres 2, 3, 4, 6, 7 et 8 du dispositif entrepris; à ce que les pièces 63 à 65 produites par B._ le 16 août 2019 soient déclarées irrecevables; à ce qu'il soit dit et constaté que B._ a reçu 400'000 fr. de E._ à titre d'avancement d'hoirie; que cette somme est rapportable à la succession de E._; que la créance produite par B._ à concurrence de 10'000 fr. dans la succession de E._ le 11 juin 2013 est inexistante; que la masse brute, avant déductions autorisées par l'<ref-law>, partageable de la succession de E._ s'élève à 620'818 fr. 20; que la masse brute, avant déductions autorisées par l'<ref-law>, de calcul des réserves de la succession de E._ s'élève à 960'348 fr. 10; et à ce que B._, C._ et Me D._ soient déboutés de toutes autres ou contraires conclusions.
Par courrier du 28 mai 2020, Me D._ a notamment déclaré avoir dressé le testament de E._ le 14 juillet 2009 et que celle-ci disposait de toute sa capacité de discernement.
C._ ne s'est pas déterminée.
B.b.b. Par arrêt du 9 février 2021, expédié le 8 mars 2021, la cour de justice a annulé les chiffres 1, 2, 3, 4 et 7 du dispositif du jugement entrepris et, statuant à nouveau, a dit que B._ a perçu une dotation de 300'000 fr., laquelle est rapportable dans la succession de E._; annulé par conséquent les termes de la clause figurant au chiffre III.3.2 du testament public rédigé par E._ le 14 juillet 2009 " Janvier 1999: CHF 400'000.- " et dit que ceux-ci ont la teneur suivante : " Janvier 1999 : CHF 300'000.- "; dit que la créance de 10'000 fr. produite par B._ dans la succession le 11 juin 2013 est inexistante; dit que la masse brute partageable de la succession de E._, soit avant déductions autorisées par l'<ref-law>, s'élève à 520'818 fr. 20; dit que la masse brute de calcul des réserves de la succession de E._, soit avant déductions autorisées par l'<ref-law>, s'élève à 1'088'999 fr. 60. Elle a confirmé le jugement entrepris pour le surplus et débouté les parties de toutes autres conclusions.
C.
Par acte posté le 22 avril 2021 (cause 5A_314/2021), A._ interjette un recours en matière civile contre cet arrêt devant le Tribunal fédéral. Il conclut à sa réforme, en ce sens qu'il soit dit que B._ a perçu une dotation de 400'000 fr. laquelle est rapportable dans la succession de E._, que la créance de 10'000 fr. produite le 11 juin 2013 par B._ dans la succession de E._ est inexistante, que la masse brute partageable de la succession de E._, soit avant déductions autorisées par l'<ref-law>, s'élève à 620'818 fr. 20, et que la masse brute de calcul des réserves de la succession de E._, soit avant déductions autorisées par l'<ref-law>, s'élève à 1'188'999 fr. 60. En substance, il se plaint de la violation de l'art. 9 Cst. dans l'établissement des faits relatifs à l'auteur du prélèvement de 100'000 fr. sur le compte bancaire joint solidaire effectué le 9 février 2001.
Par acte posté le 23 avril 2021 (cause 5A_316/2021), B._ interjette un recours en matière civile contre cet arrêt devant le Tribunal fédéral. Il conclut principalement à sa réforme, en ce sens qu'il est constaté que B._ n'est pas l'auteur du prélèvement de 150'000 fr. du 2 mars 2000, qu'il est l'auteur des crédits sur le compte n° yyyy à hauteur de 120'000 fr. entre juin 2000 et mai 2001, que A._ est l'auteur des prélèvements de 10'000 fr. et 22'425 fr. des 5 septembre 2001 et 1er juillet 2002, que la masse brute partageable est corrigée en conséquence, et qu'il est constaté que la réserve de B._ est lésée, celui-ci ayant perçu 80'001 fr. en lieu et place de 163'685 fr. 15. Subsidiairement, il conclut à l'annulation de l'arrêt du 9 février 2021 et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. En substance, il se plaint de la violation des art. 9 Cst., 8 CC et 164 CPC dans l'établissement des faits.
Des observations n'ont pas été demandées.

Considérant en droit :
1.
1.1. Les deux recours sont dirigés contre le même arrêt et concernent le même complexe de faits. Par économie de procédure, il se justifie dès lors de joindre les deux causes et de statuer dans un seul arrêt (<ref-law> applicable par analogie vu le renvoi de l'<ref-law>; cf. <ref-ruling> consid. 1; <ref-ruling> consid. 1; <ref-ruling> consid. 1a; <ref-ruling> consid. 1).
1.2. L'arrêt attaqué est une décision finale (<ref-law>) rendue dans une affaire successorale, soit en matière civile (<ref-law>) par un tribunal supérieur désigné comme autorité cantonale de dernière instance, lequel a statué sur recours (<ref-law>). La cause atteint la valeur litigieuse minimale de 30'000 fr. (<ref-law>). Les recours sont exercés par des parties dont aucune n'a obtenu entièrement gain de cause et qui ont dès lors qualité pour recourir (<ref-law>); ils ont été déposés dans le délai (art. 46 al. 1 let. a et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi. Les recours sont en principe recevables, sous réserve de l'examen des griefs particuliers.
2.
2.1. Les recourants soulèvent uniquement des griefs relatifs à l'établissement des faits.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 5.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), par exemple de l'<ref-law> (arrêt 5A_337/2016 du 6 septembre 2016 consid. 5.1.2 et les références), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
Bien qu'une éventuelle violation du droit fédéral, singulièrement de l'<ref-law>, n'a pas besoin d'être arbitraire pour être reconnue par le Tribunal fédéral saisi d'un recours en matière civile (arrêt 4A_593/2010 du 19 janvier 2011 consid. 3.1), il demeure que toute critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 et les références). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.1; <ref-ruling> consid. 1.3).
Le complètement de l'état de fait ne relève pas de l'arbitraire; un fait non constaté ne peut pas être arbitraire, c'est-à-dire constaté de manière insoutenable. En revanche, si un fait omis est juridiquement pertinent, le recourant peut obtenir qu'il soit constaté s'il démontre qu'en vertu des règles de la procédure civile, l'autorité précédente aurait objectivement pu en tenir compte et s'il désigne précisément les allégués et les offres de preuves qu'il lui avait présentés, avec référence aux pièces du dossier (<ref-law>; <ref-ruling> consid. 2).
Concernant l'appréciation des preuves, le Tribunal fédéral n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.2; <ref-ruling> consid. 4.3).
2.2. L'<ref-law> règle entre autres la répartition du fardeau de la preuve et, partant, les conséquences de l'absence de preuve (<ref-ruling> consid. 3.2; arrêts 5A_78/2020 du 5 février 2021 consid. 3.1.1; 5A_929/2019 du 20 avril 2020 consid. 3.1). En règle générale, la preuve d'un fait contesté n'est rapportée au regard de l'<ref-law> que si le juge a acquis la conviction de l'existence de ce fait. Une certitude absolue n'est pas nécessaire, mais le juge ne doit plus avoir de doutes sérieux; les éventuels doutes qui subsistent doivent apparaître légers (<ref-ruling> consid. 3.2; <ref-ruling> consid. 3c; arrêt 5A_113/2018 du 12 septembre 2018 consid. 6.2.2.1 non publié aux <ref-ruling>). Le juge enfreint en particulier l'<ref-law> s'il tient pour exactes les allégations non prouvées d'une partie, nonobstant leur contestation par l'autre, ou s'il refuse toute administration de preuve sur des faits pertinents en droit (<ref-ruling> consid. 5.4; <ref-ruling> consid. 2a).
L'<ref-law> ne dicte pas au juge comment il doit forger sa conviction (<ref-ruling> consid. 2d; <ref-ruling> consid. 3a). Lorsque l'appréciation des preuves convainc le juge qu'une allégation a été établie ou réfutée, la question de la répartition du fardeau de la preuve ne se pose plus et l'art. 9 Cst. est alors seul en cause (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4.3.1; <ref-ruling> consid. 5.4; <ref-ruling> consid. 2d; arrêt 5A_679/2019 du 5 juillet 2021 consid. 7.2 et les références). L'<ref-law> ne saurait être invoqué pour faire corriger l'appréciation des preuves (<ref-ruling> consid. 5; <ref-ruling> consid. 3a).
Cause 5A_314/2021
3.
L'autorité cantonale a examiné les montants des donations indiqués dans le testament du 14 juillet 2009 réduisant l'intimé à sa réserve et instituant le recourant comme héritier de la quotité disponible. L'intimé faisait notamment valoir que ces montants étaient faux car la défunte avait été induite en erreur par le recourant qui lui avait présenté des documents bancaires incomplets.
S'agissant du retrait de 100'000 fr. effectué sur le compte joint le 9 février 2001, l'autorité cantonale a retenu qu'une comparaison du paraphe figurant sur la quittance de ce retrait avec les signatures de l'intimé sur les autres quittances et sur celui apposé de la documentation d'ouverture du compte révélait plusieurs différences, de sorte qu'une telle comparaison visuelle ne permettait pas d'établir que le paraphe en question aurait été apposé par l'intimé. Elle a ajouté que le recourant avait certes produit une attestation datée du 20 novembre 2014, dans laquelle un associé et ancien employé de la banque I._ affirmait que la quittance susmentionnée aurait été signée en sa présence et que le montant mentionné sur celle-ci aurait été remis en espèces à l'intimé. Toutefois, cette attestation n'avait pu être soumise à son auteur dans le cadre de la présente procédure, en raison du décès de cette personne en décembre 2015. A cela s'ajoutait que le recourant n'avait décrit ni les circonstances dans lesquelles il avait obtenu cette attestation, ni les relations qu'il entretenait avec son auteur. L'affirmation selon laquelle cet employé se serait souvenu précisément de l'auteur d'un retrait effectué treize ans auparavant, était de plus sujette à caution. Les doutes sur l'authenticité de ce paraphe étaient encore renforcés par le fait que, contrairement aux autres, la quittance ne portait pas le visa d'un employé de la banque. Sur la base de ces éléments, l'autorité cantonale a considéré que le recourant n'était pas parvenu à démontrer que l'intimé était l'auteur du retrait de 100'000 fr. effectué le 9 février 2001.
4.
Le recourant dénonce l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves suite à laquelle l'autorité cantonale a retenu que l'intimé n'était pas l'auteur du retrait de 100'000 fr. effectué le 9 février 2001, si bien qu'il ne pouvait être tenu de rapporter ce montant dans la succession de sa mère.
4.1. Le recourant souligne d'abord que la même autorité cantonale, dans une autre composition, a statué de manière diamétralement opposée dans son arrêt du 8 décembre 2015 rendu en doit fiscal, confirmé par le Tribunal fédéral.
Ensuite, en ce qui concerne l'attestation établie le 20 novembre 2014 par l'employé de la banque, le recourant oppose à la motivation des juges précédents que les circonstances dans lesquelles l'attestation a été obtenue ne sont pas pertinentes, étant donné que l'intimé n'a pas allégué qu'elle l'aurait été sous la contrainte. En outre, l'ancienneté des faits n'empêchait pas l'employé de la banque de se souvenir des quatre retraits d'argent effectués par l'intimé, étant donné que cet employé connaissait le recourant au travers du service militaire, de sorte qu'il lui était aisé de retenir son nom, et qu'il s'agissait de montants importants.
Le recourant soutient aussi que l'absence de visa d'un employé sur la quittance est sans portée, étant donné qu'aucune des parties n'a mis en doute la réalité du retrait.
Enfin, il affirme que, en toute logique, seul l'intimé peut être à l'origine du retrait. Il expose à l'appui de cette affirmation que seuls les deux parties et leur mère étaient habilitées à retirer des fonds du compte. Etant donné que la de cujus avait indiqué aux parties qu'elles pouvaient disposer de l'argent, " il tombe sous le sens " selon lui qu'elle n'a pas ultérieurement changé d'avis. En outre, l'intimé n'a pas allégué que ce retrait devait s'ajouter à celui que le recourant avait retiré, de sorte qu'il en est forcément l'auteur.
4.2. En l'espèce, l'argumentation du recourant ne permet pas d'opposer à l'autorité cantonale d'avoir établi les faits de manière arbitraire.
En effet, s'il existe déjà, sur une question préjudicielle relevant d'un autre domaine du droit, une décision entrée en force de l'autorité compétente, celle-ci lie en principe le juge civil, sans quoi celui-ci s'immiscerait de manière inadmissible dans un autre domaine de compétence (<ref-ruling> consid. 4.4.3). En dehors de cette hypothèse en revanche, les constatations de fait et les considérants de droit d'une décision dans le cadre d'un autre litige, ne lient en principe pas le juge civil (arrêt 4C.130/2003 du 28 août 2003 consid. 1.3 et 1.4). Partant, c'est à tort que le recourant soutient que l'autorité cantonale est tombée dans l'arbitraire pour n'avoir pas repris l'appréciation des preuves opérée dans une décision rendue en droit fiscal qui ne tranchait aucune question préjudicielle dans la cause dont elle était saisie.
Pour le reste, la critique du recourant ne repose que sur des hypothèses que ce soit sur la mémoire de l'employé et la proximité des liens qui liaient les personnes impliquées, ainsi que sur le comportement de la de cujus. En outre, il n'est pas pertinent d'opposer à l'intimé de n'avoir pas allégué que le recourant pourrait être lui-même l'auteur du retrait, étant donné que, même si cette hypothèse ne pouvait pas être exclue, il n'aurait pas pu le démontrer sur la base de la quittance litigieuse. Enfin, l'absence de visa sur la quittance était un élément de plus que l'autorité cantonale pouvait, sans arbitraire, prendre en considération pour retenir que les circonstances entourant le retrait litigieux étaient floues.
Il suit de là que le grief d'arbitraire (art. 9 Cst.) dans l'établissement des faits doit être rejeté, dans la mesure de sa recevabilité, ce qui entraîne, dans la même mesure, le rejet du recours 5A_314/2021.
Cause 5A_316/2021
5.
S'agissant du retrait de 150'000 fr. effectué le 2 mars 2000 sur le compte joint, l'autorité cantonale a relevé de manière générale que la position initiale que le recourant avait adoptée, consistant à contester l'ensemble des prélèvements litigieux tant que les quittances de retrait originales ne seraient pas produites, apparaissait dénuée de crédibilité, dès lors que, dans la procédure devant la Chambre administrative, il avait admis qu'il était possible qu'il eût signé les quittances du 29 août 2000 et du 26 mars 2002 et, dans sa réponse à la demande reconventionnelle, qu'il avait procédé à " un ou deux ", voire " deux ou trois " retraits. Elle a aussi considéré que l'affirmation du recourant, selon laquelle les quittances de retraits produites par l'intimé ne seraient pas probantes, n'était pas convaincante. En effet, étant donné que l'intimé affirmait n'avoir pas procédé lui-même à ces retraits, il ne pouvait pas disposer des doubles des quittances remises au client à l'occasion desdits retraits; il n'avait d'autre possibilité que de demander copie des pièces originales à la banque. Plus particulièrement en lien avec le prélèvement de 150'000 fr., l'autorité cantonale a retenu qu'une comparaison de la quittance du 2 mars 2000 avec celles du 29 août 2000 et du 26 mars 2002 (toutes deux admises) et de la documentation d'ouverture de compte permettait de constater que les signatures y figurant paraissaient semblables, ce que le témoignage du directeur " compliance " de la banque, habitué à contrôler et valider les signatures, avait confirmé. Au vu de ces éléments, l'autorité cantonale a retenu que la signature figurant sur la quittance du 2 mars 2000 était celle du recourant.
L'autorité cantonale a ensuite examiné le montant des versements que le recourant avait allégué avoir effectués sur le compte joint et qu'il convenait de déduire de la somme qu'il avait retirée de ce compte. Elle a tout d'abord jugé que le recourant était tenu d'établir l'allégué n° 135 selon lequel il avait crédité le compte joint de 120'000 fr., étant toutefois précisé qu'il n'était plus contesté qu'il était l'auteur du versement de 50'000 fr. effectué le 1er décembre 2000. Or, les pièces versées à la procédure n'avaient pas démontré cette allégation. En effet, la banque avait indiqué ne pas avoir conservé de pièces antérieures au 1er janvier 2003, de sorte qu'elle n'était pas en mesure de produire les avis de crédit sollicités, et l'intimé avait déposé, le 18 janvier 2019, les originaux des relevés du compte de son ouverture à sa clôture, lesquels ne mentionnaient pas l'identité de l'auteur des versements litigieux. En conséquence, l'autorité cantonale a considéré, en application de l'<ref-law>, que l'allégation était demeurée non prouvée. Elle a ajouté que l'argument selon lequel l'intimé aurait refusé de produire les pièces permettant au recourant de prouver ses allégations ne portait pas. En effet, l'intimé avait déféré à l'ordonnance du 11 décembre 2018 lui ordonnant de produire les documents bancaires en sa possession, et, n'étant pas l'auteur des versements litigieux, il ne pouvait pas disposer des avis de crédit correspondants.
Enfin, l'autorité cantonale a examiné si l'intimé était l'auteur des retraits de 10'000 fr. et 22'425 fr. effectués en 2001 et 2002, comme l'avait retenu le premier juge. Elle a tout d'abord jugé qu'il incombait au recourant, conformément à l'<ref-law>, de démontrer que l'intimé avait retiré lui-même et conservé ces sommes. Or, l'identité de l'auteur des retraits ne ressortait pas des relevés du compte versés à la procédure et le recourant n'avait pas sollicité l'administration de nouveaux moyens de preuve sur ce point. Dans ces circonstances, l'autorité cantonale a jugé que le magistrat précédent aurait dû retenir que le recourant n'avait pas démontré l'allégation selon laquelle l'intimé avait perçu une dotation de 32'425 fr. rapportable dans la succession de la défunte.
6.
Le recourant soutient que l'autorité cantonale a violé l'<ref-law> en retenant qu'il était l'auteur du retrait de 150'000 fr. opéré le 2 mars 2000.
En l'espèce, l'autorité cantonale a considéré comme établi, au terme de l'appréciation des preuves, que le recourant était l'auteur du retrait de 150'000 fr. En conséquence, il aurait dû se plaindre de la violation de l'art. 9 Cst. dans l'établissement des faits, ce que l'on ne peut pas déduire de son argumentation (cf. supra consid. 2.2). A tout le moins, celle-ci ne répond pas aux exigences du principe d'allégation (cf. supra consid. 2.1).
Il suit de là que le grief de la violation de l'<ref-law> doit être rejeté sur ce point.
7.
Le recourant se plaint de la violation des <ref-law> et 164 CPC, en tant que l'autorité cantonale a retenu qu'il n'était pas établi qu'il était l'auteur des versements d'un montant total de 70'000 fr. sur le compte joint, en sus du versement non contesté de 50'000 fr.
7.1. Il soutient qu'il ressort des relevés produits par l'intimé que le compte a été crédité de 120'000 fr. entre juin 2000 et mai 2001. Il affirme que ces crédits ne peuvent provenir que de lui, vu que l'intimé a admis qu'il n'en était pas l'auteur et que seul le titulaire du compte peut effectuer des crédits. Il ajoute que, dans ses plaidoiries en première instance, l'intimé a affirmé que les crédits du compte joint provenaient exclusivement de la de cujus, en l'occurrence du compte I._ xxxx et du compte ouvert auprès de N._, alors que ces comptes avaient été clôturés en 1999, et que c'est en contradiction avec ses écritures qu'il a allégué dans son appel, de manière nouvelle et irrecevable, que la de cujus avait procédé à des apports et retraits d'argent en tout cas jusqu'en 2002. Il affirme ensuite que, hormis lui-même, personne ne peut avoir crédité le compte entre juin 2000 et mai 2001, l'hypothèse que ce soit la défunte étant en totale contradiction avec les testaments et autres dispositions de celle-ci qui précisent que les donations ont eu lieu en janvier 1999. L'autorité cantonale aurait dû par ailleurs considérer le fait que l'intimé avait tardé à produire les relevés bancaires.
7.2. En l'espèce, l'autorité cantonale a constaté que les allégations du recourant ne reposaient sur aucune preuve. L'on doit ainsi admettre qu'elle est parvenue à la conviction qu'il n'était pas l'auteur de l'entier du versement de 120'000 fr. Dès lors que les juges cantonaux ont en définitive procédé à une appréciation des éléments du dossier, le recourant ne peut à nouveau se prévaloir que d'une violation de l'interdiction de l'arbitraire.
Or, outre que la violation de l'art. 9 Cst. n'est pas précisément invoquée sur ce point de fait, l'argumentation du recourant ne vise pas à critiquer la motivation de l'autorité cantonale selon laquelle les pièces versées au dossier ne permettaient pas de démontrer qu'il avait procédé aux versements contestés, les relevés bancaires produits par l'intimé n'étant en particulier pas probants à cet égard. Elle revient à affirmer, sur la base de simples hypothèses qui ne reposent sur aucune offre de preuve instruite précédemment, qu'il est l'auteur de ces versements. Par ailleurs, le recourant n'a pas soulevé, devant l'instance cantonale, de grief relatif au caractère supposément nouveau de l'allégué de l'intimé selon lequel la de cujus avait procédé à des opérations sur le compte jusqu'en 2002, de sorte que, nouvelle, cette critique est irrecevable (<ref-law>). A cela s'ajoute que la note de bas de page du recours dans laquelle le recourant admet lui-même que certains éléments de fait à l'appui de son argumentation n'ont pas été repris dans l'arrêt attaqué, de manière arbitraire, mais que le Tribunal fédéral " corrigera/complètera " le considérant de fait pertinent, ne constitue à l'évidence pas une critique répondant aux réquisits du principe d'allégation. Elle est donc irrecevable (cf. supra consid. 2.1).
En outre, bien qu'il se plaigne de la violation de l'<ref-law>, le recourant ne développe aucune critique à cet égard.
Il suit de là que les griefs du recourant doivent être rejetés, dans la mesure de leur recevabilité.
8.
Le recourant se plaint d'arbitraire (art. 9 Cst.) dans l'établissement des faits ainsi que de la violation de l'<ref-law>, en tant que l'autorité cantonale a retenu qu'il n'était pas établi que l'intimé était l'auteur des retraits de 10'000 fr. et 22'425 fr. effectués en 2001 et 2002 sur le compte joint.
8.1. Le recourant soutient que, dans la mesure où l'intimé a vaguement contesté être l'auteur de ces retraits et affirmé en désespoir de cause que la de cujus aurait procédé à des retraits, il lui appartenait de démontrer ce fait. Dans tous les cas, l'autorité cantonale a omis de tenir compte d'éléments qui ressortent de la procédure, notamment que la procuration en faveur de la de cujus sur le compte n'avait été donnée que pour respecter son souhait d'être informée de l'état du compte et que cette dernière n'avait besoin d'aucun soutien financier. Il finit par affirmer que soit il y a eu donation en janvier 1999, soit la défunte continuait d'utiliser le compte comme le sien en effectuant des crédits et des débits.
8.2. En l'espèce, dans la mesure où l'autorité cantonale a jugé qu'il n'était pas prouvé que l'intimé était l'auteur des retraits, la preuve de faits destructeurs de ce fait n'incombait pas à celui-ci. Pour le reste, le recourant présente sur ce point aussi une critique des faits fondée sur des hypothèses et qui ne répond pas aux réquisits du principe d'allégation (cf. supra consid. 2.1).
Il suit de là que le grief de violation de l'art. 9 Cst. est irrecevable et celui de la violation de l'<ref-law> rejeté.
9.
En définitive, les causes 5A_314/2021 et 5A_316/2021 sont jointes. Le recours 5A_314/2021 est rejeté, dans la mesure de sa recevabilité. Les frais de justice, arrêtés à 7'000 fr. sont mis à la charge du recourant qui succombe (<ref-law>). Le recours 5A_316/2021 est rejeté, dans la mesure de sa recevabilité. Les frais de justice, arrêtés à 7'000 fr. sont mis à la charge du recourant qui succombe (<ref-law>). Des dépens ne sont pas dus, aucun des recourants n'ayant été invité à répondre au recours où il était intimé.

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 5A_314/2021 et 5A_316/2021 sont jointes.
2.
Le recours 5A_314/2021 est rejeté dans la mesure de sa recevabilité.
3.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
4.
Le recours 5A_316/2021 est rejeté dans la mesure de sa recevabilité.
5.
Les frais judiciaires, arrêtés à 7'000 fr., sont mis à la charge du recourant.
6.
Le présent arrêt est communiqué aux parties et à la Chambre civile de la Cour de justice du canton de Genève.
Lausanne, le 31 janvier 2022
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Achtari