Faits :
A.
Par jugement par défaut du 17 décembre 2019, la Cour des affaires pénales du Tribunal pénal fédéral (ci-après: Cour des affaires pénales) a reconnu A._ coupable de faux dans les titres répétés ainsi que d'obtention frauduleuse répétée d'une constatation fausse et l'a condamné à une peine privative de liberté ferme de 24 mois.
A._ a, par son défenseur d'office Me B._, formé une annonce d'appel, puis une déclaration d'appel, respectivement les 18 décembre 2019 et 1 er juillet 2020.
B.
Le 19 juin 2020, A._ a, par Me B._, déposé une demande de traduction intégrale en langue allemande du jugement précité du 17 décembre 2019 aux motifs qu'il "est de langue maternelle allemande et qu'il ne parle que peu le français". Sa demande a été rejetée en date du 8 avril 2021 par ordonnance de la juge présidente de Cour d'appel du Tribunal pénal fédéral (ci-après: Cour d'appel). Celle-ci a relevé que la Cour des affaires pénales ainsi que la Cour des plaintes du Tribunal pénal fédéral (ci-après: Cour des plaintes) avaient rejeté plusieurs demandes de traduction et de changement de langue de procédure durant la phase d'enquête et la procédure de première instance au motif que l'appelant maîtrisait le français (cf. ordonnance de la Cour des affaires pénales du 18 juin 2019 [TPF 157.913.2.001 ss] et décision de la Cour des plaintes BP.2019.134/BP.2019.53 du 28 octobre 2019 consid. 2.5.1 et les réf. cit. [TPF 157.922.1.106 ss]). La Cour d'appel a considéré que la demande de traduction de l'appelant, sommairement motivée, ne contenait aucun élément permettant de remettre en cause sa maîtrise de la langue française constatée à plusieurs reprises par la Cour des affaires pénales et la Cour des plaintes.
C.
Par écriture du 23 avril 2021, A._, qui agit personnellement, interjette auprès du Tribunal fédéral un recours en matière pénale par lequel il conclut, sous suite de frais et dépens, à l'annulation de l'ordonnance du 8 avril 2021 de la Cour d'appel et à la traduction en langue allemande du jugement rendu le 17 décembre 2019. A._ demande à titre subsidiaire que son mandataire Me B._ soit chargé de procéder à la traduction des parties essentielles dudit jugement. Il estime avoir droit à une telle traduction en application de l'art. 68 CPP dès lors que ses connaissances de la langue française se seraient considérablement dégradées en raison de sa maladie ayant nécessité une chimiothérapie durant plus de 4 années et de l'absence de pratique de cette langue depuis environ 15 ans.
La Cour d'appel renonce à se prononcer sur le recours et renvoie aux considérants de l'ordonnance attaquée. Aux termes de ses déterminations, le Ministère public de la Confédération conclut au rejet du recours, dans la mesure où il est recevable. Le recourant dépose une ultime écriture le 27 mai 2021.

Considérant en droit :
1.
Conformément à l'art. 54 al. 1 LTF, le présent arrêt sera rendu en français, langue de la décision attaquée, même si le recours a été libellé en allemand comme l'autorise l'art. 42 al. 1 LTF.
2.
La décision statuant sur la demande du recourant tendant à la traduction du jugement par défaut rendu le 17 décembre 2019 par la Cour des affaires pénales constitue une décision incidente, qui ne met pas fin à la procédure. Une telle décision ne peut faire l'objet d'un recours au Tribunal fédéral que si elle peut causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF). Cette dernière hypothèse n'entre pas en considération en l'espèce. L'art. 93 al. 1 let. a LTF suppose, en matière pénale, que le recourant soit exposé à un dommage de nature juridique, qui ne puisse pas être réparé ultérieurement par un jugement final ou une autre décision qui lui serait favorable (<ref-ruling> consid. 1.3.1). Cette réglementation est fondée sur des motifs d'économie de procédure, le Tribunal fédéral ne devant en principe s'occuper d'une affaire qu'une seule fois. Il incombe au recourant d'expliquer en quoi la décision incidente est susceptible de lui causer un tel dommage, à moins que celui-ci ne fasse d'emblée aucun doute (<ref-ruling> consid. 1.2).
Le recourant ne s'exprime pas sur la question de la recevabilité de son recours, ainsi qu'il lui incombait pourtant de le faire eu égard à ses obligations en matière de motivation. Il ne cherche ainsi pas à démontrer que le refus de traduire en langue allemande le jugement par défaut de la Cour des affaires pénales du 17 décembre 2019 lui occasionnerait un préjudice irréparable au sens de la jurisprudence précitée. L'existence d'un tel préjudice n'apparaît au surplus pas manifeste. En effet, selon la jurisprudence, le refus de traduire des actes de procédure et des pièces du dossier n'entraîne en principe pas de préjudice irréparable (cf. arrêt 1B_421/2019 du 2 décembre 2019 consid. 3.3 et l'arrêt cité). Il sied en particulier de relever que le recourant est assisté de Me B._ - lequel a été confirmé dans son mandat d'office également pour la procédure d'appel - et le recourant ne prétend pas que cet avocat ne serait pas en mesure de défendre efficacement ses intérêts. Le refus de traduire en langue allemande le jugement de la Cour des affaires pénales pourra, le cas échéant, être contesté devant le Tribunal fédéral par la voie du recours en matière pénale à l'encontre d'un éventuel jugement d'appel défavorable au recourant. Au demeurant, il sied de constater que, selon la jurisprudence, il n'existe pas de droit à une traduction intégrale d'un jugement écrit (cf. <ref-ruling> consid. 1.3.3; <ref-ruling> consid. 6b).
2.1. Dès lors que l'existence d'un préjudice irréparable n'est ni établie ni manifeste, la décision attaquée ne saurait faire l'objet d'un recours immédiat auprès du Tribunal fédéral.
3.
Le recours doit ainsi être déclaré irrecevable. Le recourant, qui succombe, prendra en charge les frais judiciaires (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au Ministère public de la Confédération, à la Juge présidente de la Cour d'appel du Tribunal pénal fédéral, à Me C._ et à Me B._.
Lausanne, le 16 juillet 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
La Greffière : Arn