Faits :
A.
Le 3 mai 2016, A._ a requis son inscription au tableau public des avocats des Etats membres de l'Union européenne auprès de l'Autorité cantonale de surveillance des avocats du canton du Valais. A l'appui de sa requête, l'intéressé a produit une attestation intitulée " Certificate of Good Standing " établie le 15 avril 2016 par la " Solicitors Regulation Authority " (ci-après: la SRA), autorité indépendante de réglementation des avocats en Angleterre et au Pays de Galles, d'où il ressortait que A._ avait obtenu le titre de " solicitor " le 3 septembre 2001. Ce document précisait que l'intéressé, qui n'avait été ni suspendu ni radié, ne détenait pas de certificat lui octroyant le droit d'exercer (" [h]e does not hold a current practising certificate "), de sorte qu'il n'était pas autorisé à pratiquer en Angleterre et dans le Pays de Galles (" [h]e is not currently entitled to practise as a solicitor of England and Wales "). Il était en outre indiqué que A._ avait sollicité un certificat l'autorisant à exercer mais que cette demande avait été rejetée par la SRA. Une procédure d'appel était en cours.
B.
Par décision du 20 mai 2016, le Président de l'Autorité cantonale de surveillance des avocats a rejeté la requête de l'intéressé. Il a considéré que A._ n'avait pas établi être habilité à exercer dans son Etat de provenance une activité d' " Advocate ", de " Barrister " ou de " Solicitor ".
A l'encontre de cette décision, A._ a formé un recours auprès de la Cour de droit public du Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) qui l'a rejeté par arrêt du 1er septembre 2016.
C.
A._ forme un recours en matière de droit public au Tribunal fédéral, subsidiairement un " recours de droit constitutionnel ". Outre l'assistance judiciaire, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du 1er septembre 2016 et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Subsidiairement, il requiert la réforme de l'arrêt entrepris en ce sens que l'arrêt de la Cour de céans vaudra inscription de l'intéressé sur la liste publique des avocats du canton du Valais à compter du 27 avril 2016. A._ demande en outre au Tribunal fédéral de poser des questions préjudicielles à la Cour de Justice de l'Union européenne (CJUE) concernant l'interprétation et l'application de l'art. 3 de sa directive 98/5/CE.
Le 21 septembre 2016, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et informé l'intéressé qu'il sera statué ultérieurement sur sa demande d'assistance judiciaire.
Le Tribunal cantonal et l'Autorité cantonale de surveillance des avocats ont renoncé à se déterminer sur le recours. L'Office fédéral de la justice n'a pas déposé d'observations. Le 4 octobre 2016, le recourant a produit une nouvelle pièce.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. Le jugement attaqué confirme le refus d'inscrire le recourant au tableau public des avocats des Etats membres de l'Union européenne. Il s'agit donc d'une cause de droit public (cf. <ref-law>) qui échappe à l'exception de l'art. 83 let. t LTF puisque la décision entreprise ne porte pas sur l'évaluation des capacités du recourant (cf. 2C_831/2015 du 25 mai 2015 consid. 1.1). Le recours est en outre dirigé contre un jugement final (cf. <ref-law>) rendu par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (cf. <ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire du prononcé attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification (cf. <ref-law>), le recours est en principe recevable comme recours en matière de droit public sous réserve de ce qui suit. Partant, le recours constitutionnel subsidiaire (<ref-law>) déposé par le recourant est irrecevable.
1.2. La Suisse ne fait pas partie des Etats membres de l'Union européenne. Il suit de là qu'elle ne peut soumettre de question préjudicielle à la CJUE. Il appartient en dernier lieu au Tribunal fédéral de statuer au sujet des questions interprétatives portant sur les accords sectoriels. La conclusion du recourant tendant à ce que le Tribunal fédéral pose des questions préjudicielles à la CJUE est partant irrecevable.
2.
Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Le recourant a fait parvenir trois documents datés du mois de septembre 2016, à savoir un extrait du tableau officiel des " solicitors ", un rapport de la " Legal Services Board " proposant d'abolir le régulateur SRA ainsi qu'une décision de refus d'admission au stage d'avocat. Il s'agit là de pièces nouvelles, postérieures à l'arrêt attaqué, que le Tribunal fédéral ne peut pas prendre en considération.
3.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le corollaire est que les décisions qui peuvent faire l'objet d'un recours devant le Tribunal fédéral doivent notamment contenir les motifs déterminants de fait et de droit (cf. <ref-law>). Un état de fait insuffisant empêche l'application des règles de droit pertinentes à la cause. Un tel manquement constitue donc une violation du droit. Si une décision attaquée ne satisfait pas aux exigences fixées à l'<ref-law>, le Tribunal fédéral peut soit la renvoyer à l'autorité cantonale en invitant celle-ci à la parfaire, soit l'annuler (<ref-law>; <ref-ruling> consid. 8.2 p. 153 et les références citées).
Dans l'arrêt attaqué, l'instance précédente se limite à mentionner la disposition appliquée, sans exposer les faits qu'elle retient comme établis, ni expliquer son raisonnement juridique. Une telle manière de faire n'est dans son principe pas conforme à l'<ref-law>. La question de l'application de l'<ref-law> peut toutefois demeurer indécise, dès lors que le recours est de toute façon voué à l'échec. Le Tribunal fédéral fera usage de l'<ref-law> et tiendra compte des éléments de fait ressortant de la décision du Président de l'Autorité cantonale de surveillance des avocats.
4.
Invoquant une violation de l'art. 9 Cst., le recourant se plaint d'un établissement arbitraire des faits en relevant que l'instance précédente a opéré des constatations factuelles " à l'opposé des documents et attestations fournies par le recourant " (mémoire de recours, para. 21).
4.1. S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
4.2. Le recourant reproche à l'instance précédente de n'avoir pas retenu qu'il avait produit une attestation de son inscription auprès de l'autorité compétente de son Etat. D'après l'intéressé, ce document permet d'établir qu'il avait la qualité d'avocat depuis 1995, ce que l'arrêt attaqué aurait prétendument passé sous silence. En l'occurrence, force est de constater que cette pièce a été prise en compte par l'instance précédente. Celle-ci a toutefois considéré, du moins implicitement (cf. <ref-law>), que l'attestation produite par le recourant ne permettait pas d'établir qu'il était habilité à exercer dans son Etat de provenance. En réalité, l'argument soulevé par le recourant ne concerne pas l'établissement des faits mais relève de l'appréciation juridique et sera examiné dans ce contexte (cf. infra consid. 6). Le grief tiré de l'appréciation arbitraire des faits et des preuves doit partant être écarté.
5.
Le recours en matière de droit public peut notamment être formé pour violation du droit international (<ref-law>). Selon l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit donc, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation (<ref-ruling> consid. 2.2 p. 232; <ref-ruling> consid. 2.5 p. 314).
En l'occurrence, le recourant se limite à invoquer les art. 6 CEDH et 14 Pacte ONU II sans indiquer concrètement en quoi ces dispositions seraient spécifiquement violées. Un tel procédé ne répond pas aux exigences de motivation accrues déduites de l'<ref-law>, de sorte que le Tribunal fédéral ne peut pas les examiner.
6.
Sur le fond, le recourant fait grief à l'instance précédente d'avoir violé l'<ref-law> en lien avec l'art. 3 de la Directive européenne 98/5/CE en considérant qu'il n'avait pas établi sa qualité d'avocat.
6.1. La LLCA garantit la libre circulation des avocats et fixe les principes applicables à l'exercice de la profession d'avocat en Suisse (art. 1). Elle détermine notamment les modalités selon lesquelles les avocats ressortissants des Etats membres de l'Union européenne peuvent pratiquer la représentation en justice (art. 2 al. 2). Les art. 27 à 29 de la loi règlent l'exercice permanent de la profession d'avocat, sous le titre d'origine, par les avocats ressortissants des Etats membres de l'Union européenne. D'après l'<ref-law>, l'avocat ressortissant d'un Etat membre de l'Union européenne habilité à exercer dans son Etat de provenance sous un titre figurant en annexe peut pratiquer la représentation en justice en Suisse à titre permanent, sous son titre professionnel d'origine, après s'être inscrit au tableau. L'<ref-law> prévoit que l'autorité de surveillance tient un tableau public des avocats des Etats membres de l'UE ou de l'AELE autorisés à pratiquer la représentation en justice en Suisse de manière permanente sous leur titre d'origine. L'inscription au tableau s'effectue auprès de l'autorité de surveillance du canton sur le territoire duquel l'avocat a une adresse professionnelle (art. 28 al. 2, 1ère phrase). Il établit sa qualité d'avocat en produisant une attestation de son inscription auprès de l'autorité compétente de son Etat de provenance; cette attestation ne doit pas dater de plus de trois mois (2e phrase). Ces dispositions ont été élaborées conformément à la directive 98/5/CE du 16 février 1998 visant à faciliter l'exercice permanent de la profession d'avocat dans un Etat membre autre que celui où la qualification a été acquise (Message du 28 avril 1999 concernant la loi fédérale sur la libre circulation des avocats, FF 1999 5331, 5339 ss).
6.2. Le recourant se prévaut du " Certificate of Good Standing " établi par la SRA en date du 15 avril 2016. Il soutient que ce document permet de constater sa qualité d'avocat, ce qui, d'après lui, suffit à justifier son inscription au tableau public des avocats des Etats membres de l'Union européenne. D'après l'intéressé, contrairement à ce que retient l'arrêt attaqué, l'<ref-law> ne subordonne pas l'inscription au tableau public des avocats à la condition que le requérant soit autorisé à pratiquer dans son Etat de provenance. En l'occurrence, le recourant se méprend sur les conditions juridiques permettant d'obtenir l'inscription au tableau. L'<ref-law> ne précise certes pas que le requérant doit être habilité à exercer dans son Etat de provenance. Cette condition figure toutefois expressément à l'<ref-law>, disposition qui doit être lue en corrélation avec l'<ref-law>. Il s'ensuit que, contrairement à ce que prétend le recourant, l'avocat qui sollicite l'inscription au tableau public des avocats des Etats membres de l'Union européenne doit non seulement établir sa qualité d'avocat mais également démontrer qu'il est habilité à exercer sa profession dans son Etat de provenance. Cela ressort du reste expressément de la directive 98/5/CE invoquée par le recourant, dont l'art. 1er al. 1 définit l'" avocat " comme " toute personne, ressortissant d'un Etat membre, habilitée à exercer ses activités professionnelles sous l'un des titres professionnels mentionnés [dans la directive] ".
En l'espèce, le recourant a établi avoir été admis en qualité de " solicitor " en date du 3 septembre 2001. Il ressort toutefois clairement du " Certificate of Good Standing " produit par le recourant que ce dernier n'est pas habilité à exercer en Angleterre et dans le Pays de Galles. L'intéressé ne le conteste du reste pas. Il se contente de soutenir que la qualité d'avocat au niveau européen se démontre " non par une attestation mais par la carte d'identité des avocats délivrée par le Conseil des Barreaux Européens " (mémoire de recours, para. 23). Outre que cet argument apparaît contradictoire dès lors que le recourant fonde l'essentiel de son recours sur le " Certificat of Good Standing " établi par la SRA, il tombe à faux. L'<ref-law> subordonne en effet expressément l'inscription au tableau public des avocats des Etats membres de l'Union européenne à la production d'une attestation de l'inscription du requérant auprès de l'autorité compétente de son Etat de provenance.
Dans ces conditions, c'est à bon droit que l'instance précédente a confirmé la décision du Président de l'Autorité cantonale de surveillance des avocats refusant l'inscription de l'intéressé au tableau public des avocats des Etats membres.
7.
Le recourant se plaint d'une violation du principe d'égalité.
7.1. Une décision viole le principe de l'égalité de traitement lorsqu'elle établit des distinctions juridiques qui ne se justifient par aucun motif raisonnable au regard de la situation de fait à réglementer ou lorsqu'elle omet de faire des distinctions qui s'imposent au vu des circonstances, c'est-à-dire lorsque ce qui est semblable n'est pas traité de manière identique et ce qui est dissemblable ne l'est pas de manière différente. Il faut que le traitement différent ou semblable injustifié se rapporte à une situation de fait importante (<ref-ruling> consid. 6.2.1 p. 348; arrêt 2C_879/2015 du 29 février 2016 consid. 9.1).
7.2. D'après le recourant, il serait discriminatoire de lui refuser l'inscription au tableau public des avocats des Etats membres de l'Union européenne au motif qu'il ne serait pas autorisé à exercer dans son Etat de provenance alors que les avocats suisses inscrits sur un registre cantonal ne pourraient pas se voir refuser l'inscription au tableau public d'un Etat d'accueil pour ce motif. Dans la mesure où le système anglais prévoit un renouvellement annuel de l'autorisation d'exercer, les avocats anglais seraient moins bien traités que les avocats suisses qui ne sont pas soumis à une telle procédure. Ce raisonnement ne saurait être suivi. Au vu des différences existant entre les systèmes juridiques des deux Etats, on ne saurait comparer la situation du recourant à celle d'un avocat suisse. Ce qui est déterminant, en définitive, c'est que, dans les deux cas, les requérants soient en mesure d'obtenir une attestation des autorités compétentes de l'Etat d'origine leur permettant d'établir leur statut d'avocat " habilité à exercer [leurs] activités professionnelles " au sens de l'art. 1 al. 2 let. a) de la directive 98/5/CE du Parlement européen (cf. <ref-law> qui reprend cette directive). C'est en effet sur la base de ce document que l'autorité compétente de l'Etat d'accueil procède à l'inscription de l'avocat étranger. Peu importe à cet égard que la procédure et les conditions d'obtention de l'attestation diffèrent d'un Etat à l'autre. Partant, les situations visées n'étant pas comparables, il ne saurait être question d'inégalité de traitement. Ce dernier moyen doit donc lui aussi être rejeté.
8.
Finalement, le mandataire du recourant est expressément mis en garde sur ses écarts de langage. Il est en effet inadmissible, spécialement pour un mandataire professionnel, de qualifier le raisonnement d'un Tribunal cantonal d' "immonde " et d'affirmer qu'il fait preuve d'une " schizophrénie totale ". De tels propos sont inconvenants et constituent un manque de respect envers les autorités (cf. <ref-law>).
9.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recours étant dénué de chances de succès, la demande d'assistance judiciaire est rejetée (cf. art. 64 al. 1 et 2 LTF a contrario). Succombant, le recourant doit supporter les frais de justice (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Président de l'Autorité de surveillance des avocats et au Tribunal cantonal du canton du Valais, Cour de droit public, ainsi qu'à l'Office fédéral de la justice.
Lausanne, le 23 décembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : McGregor