Faits :
A.
Cours d'eau frontalier entre la France et la Suisse, la Morge se jette dans le lac Léman. A son embouchure, le village valaisan de St-Gingolph s'étend sur la rive est, du côté suisse; en face, sur la rive ouest, se situe le village homonyme français.
Le 2 mai 2015, une importante crue a provoqué des dommages conséquents dans ces deux localités.
Après l'exécution de mesures d'urgence, un comité de pilotage (ci-après: CoPil) regroupant des représentants d'autorités suisses (fédérales, cantonales et communales) et d'autorités françaises (département de Haute-Savoie, Agence de l'eau Rhône Méditerranée Corse, Commune de St-Gingloph) a chargé le bureau B._d'élaborer un plan de gestion et d'aménagement de la Morge dans le cadre du plan global de gestion et d'aménagement du contrat de rivières des Dranses et de l'Est lémanique. Les solutions proposées par B._ ont été validées par le CoPil et présentées aux habitants des deux communes de St-Gingolph, le 26 juin 2017.
Le 30 janvier 2018, le CoPil a donné son accord au projet élaboré par B._. Un consortium d'ingénieurs (groupement AM20) a été chargé de préparer sa mise à l'enquête selon le droit suisse, tâche dont il s'est acquitté, le 23 novembre 2018, en déposant un rapport technique et une série de plans. Des plans de détermination de l'espace réservé aux eaux (ci-après: ERE), datés du 7 novembre 2018, ont également été établis, ainsi qu'une notice d'impact sur l'environnement du 23 novembre 2018 (ci-après: NIE).
B.
D'entente avec le Service cantonal des forêts, des cours d'eau et du paysage, le Conseil communal de St-Gingolph (VS) a publié au Bulletin officiel du canton du Valais (B.O.) du 30 novembre 2018 le projet d'aménagement de l'embouchure de la Morge et le projet de détermination de l'ERE.
Le projet d'aménagement de l'embouchure mentionne une passerelle piétonne prévue le long du lac et reliant les deux villages de St-Gingolph; les plans la situent au droit de la parcelle no 2 du cadastre municipal, propriété de la Confédération. Cette parcelle est limitrophe, à l'est, de la parcelle no 3. Cette dernière appartient à A._ et supporte le bâtiment abritant le restaurant "C._". A teneur du plan d'ensemble, le futur itinéraire d'accès à la passerelle longera les façades sud et ouest de ce bâtiment.
Le rapport technique établi par le groupement AM20 explique notamment que la passerelle doit en remplacer une autre, située en amont, appelée le pont de la Scie, respectivement le pont de la Scierie; celui-ci avait bloqué, lors de la crue du 2 mai 2015, l'écoulement des eaux de la Morge, en particulier en raison de sa localisation à un point de rupture du profil en long, facilitant le dépôt. Ce document indique également les motifs dissuadant d'opter pour une nouvelle passerelle au même endroit. La NIE du 23 novembre 2018, mentionne par ailleurs la passerelle comme "liaison de mobilité douce".
C.
Le 21 décembre 2018, A._ s'est opposé au projet d'aménagement de l'embouchure de la Morge et à celui de détermination de l'ERE. Les deux oppositions ont été rejetées par décision du Conseil d'Etat du canton du Valais du 20 août 2019. L'exécutif cantonal a approuvé le "dossier relatif au projet d'aménagement de la Morge à son embouchure, avec réalisation d'une parcelle, ceci sur le territoire de la commune de St-Gingolph". Il a également approuvé les plans déterminant l'ERE pour la Morge sur cette commune.
Par acte du 7 octobre 2019, A._ a recouru contre cette décision auprès de la Cour de droit public du Tribunal cantonal du Valais. Par arrêt du 8 mai 2020, la cour cantonale a rejeté le recours. Elle a en substance considéré que la France et la Suisse avaient, par le biais des représentants composant le CoPil, donné un accord préalable à la réalisation du projet en conformité avec la convention du 10 juin 1891 relative à la délimitation de la frontière entre le mont Dolent et le lac Léman (ci-après: convention du 10 juin 1891; RS 0.132.349.11). L'implantation de la passerelle au sein d'une zone de danger élevé ne condamnait par ailleurs pas le projet. Les exigences de coordination découlant de l'art. 25a de la loi fédérale du 22 juin 1979 sur l'aménagement du territoire (LAT; RS 700) avaient aussi été observées.
D.
D.a. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt cantonal du 8 mai 2020 en ce sens que l'approbation des plans relatifs au projet d'aménagement de la Morge à son embouchure, avec réalisation d'une passerelle, est refusée. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. Il requiert également l'octroi de l'effet suspensif.
Le Tribunal cantonal renonce à se déterminer. Le Conseil d'Etat, de même que la Commune suisse de St-Gingolph, concluent au rejet du recours. Egalement appelé à se déterminer, l'Office fédéral de l'environnement (ci-après: OFEV) estime que la nouvelle passerelle est compatible avec la protection contre les crues; elle répond en outre à un intérêt public et son implantation dans l'ERE est imposée par sa destination.
D.b. Le recourant a répliqué par acte du 9 novembre 2020, confirmant ses conclusions. Le 27 janvier 2021, le recourant a informé la Cour de céans de l'ouverture d'une instruction pénale, sur plainte de D._, propriétaire riverain de la Morge du côté français, à l'encontre du procureur suppléant Ruedi Montanari et de l'ancien Procureur fédéral Michael Lauber, notamment pour entrave à l'action pénale au sens de l'art. 305 CP (RS 311), leur reprochant de n'avoir pas ouvert d'instruction en dépit d'une prétendue "forte suspicion [...] concernant des actes illicites entourant le financement et la construction de la passerelle querellée". Pour le Conseil d'Etat du Valais, cet élément ne remet pas en cause la conformité technique du projet litigieux.
D.c. Sur interpellation de la Cour de céans, l'Office fédéral de topographie (ci-après: Swisstopo) s'est prononcé sur le tracé de la frontière franco-suisse, à la hauteur de la Morge, et a produit différents plans. Par actes des 18 mai et 9 juillet 2021, le recourant s'est déterminé, contestant en substance le tracé retenu par Swisstopo; depuis la crue de 2015, la passerelle litigieuse se situerait entièrement sur le territoire français, d'où l'incompétence des autorités cantonales valaisannes pour approuver le projet litigieux. Le recourant s'est encore exprimé le 29 septembre 2021.
D.d. Par ordonnance du 14 juillet 2020, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.
D.e. En cours d'instruction, le 10 septembre 2020, D._ a déposé une requête d'admission à la procédure en qualité de partie principale. Cette requête a été rejetée par ordonnance du 15 décembre 2020. Par acte du 2 septembre 2021, le prénommé a sollicité la reconsidération de cette première ordonnance, requête rejetée par ordonnance du 10 septembre 2021.

Considérant en droit :
1.
Dirigé contre une décision finale (art. 90 LTF) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (art. 82 let. a LTF), le recours est en principe recevable comme recours en matière de droit public selon les art. 82 ss LTF, aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Le recourant a pris part à la procédure devant le Tribunal cantonal. En tant que propriétaire voisin du projet litigieux, dont il conteste la conformité, il est particulièrement touché par l'arrêt attaqué; il bénéficie d'un intérêt digne de protection à sa modification ou à son annulation. La qualité pour recourir au sens de l'art. 89 al. 1 LTF doit partant lui être reconnue. Les autres conditions de recevabilité étant au surplus réunies, il convient d'entrer en matière.
2.
Selon l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine l'application du droit fédéral ainsi que, sous certaines conditions, le droit international public ( Völkerrecht; cf. <ref-ruling> consid. 4b; JOHANNA DORMANN, Basler Kommentar, BGG, 3e éd. 2018, n. 8 ad art. 106 LTF). Cela étant, compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés, sauf en présence de violations du droit évidentes. Il n'est donc pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont pas discutées devant lui (cf. <ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2). A cela s'ajoute que, conformément à l'art. 106 al. 2 LTF et en dérogation à l'art. 106 al. 1 LTF, le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3).
3.
A titre de mesures d'instruction, le recourant requiert la production, en main du Tribunal administratif de Grenoble, des dossiers relatifs aux recours déposés par D._ contre la partie française du projet, ainsi que la mise en oeuvre d'une expertise "visant à déterminer l'existence d'éventuels risques liés à la construction de la passerelle, vu son emplacement en zone de danger". A l'appui d'une écriture ultérieure du 27 janvier 2021, il produit par ailleurs une série de documents liés à la plainte pénale déposée par D._ à l'encontre du procureur suppléant Ruedi Montanari et de l'ancien Procureur fédéral Michael Lauber.
3.1. En ce qui concerne les dossiers judiciaires du Tribunal administratif de Grenoble, cette requête a déjà été formulée devant l'instance précédente, qui l'a refusée. Cela étant, pour les motifs développés ci-dessous, cette offre de preuve n'apparaît pas pertinente pour l'issue du litige (cf. consid. 5.3), de sorte qu'en la refusant le Tribunal cantonal n'a pas violé le droit d'être entendu du recourant (art. 29 al. 2 Cst.; cf. arrêt 1C_157/2021 du 7 juillet 2021 consid. 3.1 et les arrêts cités). Pour ces mêmes motifs, il n'y a pas non plus lieu, à ce stade, de réserver un écho favorable à cette réquisition.
3.2. Quant à la réquisition portant sur la mise en oeuvre d'une expertise visant à démontrer l'absence de risque lié à la construction de la passerelle dans une zone de danger, le recourant prétend que celle-ci aurait déjà été formulée devant l'instance précédente, qui n'y aurait pas donné suite, là encore en violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il ne fournit cependant aucune explication à l'appui de ce grief constitutionnel, qui doit par conséquent être déclaré irrecevable (art. 106 al. 2 LTF; cf. <ref-ruling> consid. 3; <ref-ruling> consid. 1.7.2). Le recourant n'expose pas non plus en quoi, au stade du recours fédéral, une telle mesure serait pertinente pour l'issue du litige. Son recours fédéral ne renferme du reste aucun grief matériel formulé en lien avec cette problématique. Dans ces conditions, on ne voit pas de motif de s'écarter des considérations développées à ce propos par le Tribunal cantonal (cf. arrêt attaqué consid. 5), validées céans par l'OFEV, qui confirme la faisabilité de la passerelle (en application de l'art. 11 de la loi fédérale sur l'aménagement des cours d'eau du 21 juin 1991 [LACE; RS 721.100]), ni de douter de la pertinence des éléments techniques figurant au dossier d'enquête. Il s'ensuit que la demande d'expertise formulée à ce stade doit également être rejetée.
3.3. Enfin, les documents produits en lien avec la plainte pénale déposée par D._ (cf. En fait, let. D.b ci-dessus) constituent des pièces nouvelles irrecevables (art. 99 al. 1 LTF). Contrairement à ce qu'affirme le recourant, celles-ci ne découlent pas de l'arrêt attaqué au sens où l'entend l'art. 99 al. 1 in fine LTF (cf. BERNARD CORBOZ, Commentaire de la LTF, 2e éd. 2014, n. 19 ss ad art. 99 LTF). On peut du reste douter de leur pertinence, l'objet de la présente procédure portant sur l'examen de la conformité du projet au droit de la construction et de l'aménagement du territoire.
4.
Dans un grief intitulé "Violation du droit international et de la Constitution fédérale", le recourant se plaint d'une transgression des règles de compétence relatives à la modification des frontières. En substance, les travaux de réaménagement de la Morge, dans la mesure où ils entraînent une modification du tracé de la frontière entre la Suisse et la France, auraient dû préalablement être validés par le Conseil fédéral, sous la surveillance de l'Assemblée fédérale. En réplique, il soutient de plus que l'importante crue de la Morge intervenue en mai 2015 aurait modifié la frontière franco-suisse, selon le système prévu par la convention du 10 juin 1891; à le comprendre, cet événement aurait, en déplaçant la rive droite de la rivière en direction de l'est, étendu dans cette direction le territoire français; il en découlerait une incompétence des autorités suisses pour autoriser les travaux ici en cause. Le recourant réitère ces critiques par écriture du 9 juillet 2021, en réponse aux déterminations de Swisstopo du 3 mai 2021.
4.1. La détermination de la frontière nationale est soumise à l'accord des pays voisins. La conclusion de traités internationaux modifiant les frontières nationales est du ressort de la Confédération (cf. art. 54 al. 1 Cst.). Le Conseil fédéral conclut ces traités (art. 24 de la loi fédérale du 5 octobre 2007 sur la géoinformation [LGéo; RS 510.62]; voir également art. 16 de l'ordonnance fédérale sur la mensuration nationale du 21 mai 2008 [OMN; RS 510.626]). En principe, les conventions qui modifient le territoire des Etats sont conclues pour une durée indéterminée et ne peuvent être dénoncées (cf. GIOVANNI BIAGGINI, BV Kommentar, 2e éd. 2017, n. 16 ad art. 141 Cst.); elles nécessitent par conséquent l'approbation des Chambres fédérales et sont sujettes à référendum (cf. art. 141 al. 1 let. d ch. 1 Cst. et art. 166 al. 2 Cst.). L'Office fédéral de topographie est le service spécialisé de la Confédération compétent en matière de détermination, d'abornement et de mensuration de la frontière nationale (art. 13 al. 1 OMN).
4.2. La frontière entre la Suisse et la France depuis le mont Dolent jusqu'au lac Léman est décrite par l'annexe à la convention du 10 juin 1891. Un traité doit être interprété de bonne foi suivant le sens ordinaire à attribuer aux termes du traité dans leur contexte et à la lumière de son objet et de son but (cf. art. 31 par. 1 de Convention de Vienne du 23 mai 1969 sur le droit des traités [CV; RS 0.111]. En l'espèce, cette convention n'est certes pas directement applicable, celle-ci étant postérieure à la convention du 10 juin 1891 (cf. art. 4 CV); elle codifie cependant en substance le droit coutumier international (cf. <ref-ruling> consid. 2.3; <ref-ruling> consid. 4.4.1).
Selon l'annexe à la convention du 10 juin 1891 précitée, "du Pied des Nez (près de l'Haut-de-Morge) à l'embouchure de la Morge dans le lac Léman, à partir du no 94, qui se trouve à peu près en face des chalets de l'Haut-de-Morge, la frontière suit la rive droite de la Morge jusqu'à son embouchure dans le lac Léman, en passant au-dessous du village français de Novel et en traversant le village à demi-français et à demi-suisse de St-Gingolph".
4.2.1. Pour la portion territoriale concernant plus particulièrement les communes limitrophes de St-Gingolph (CH) et Novel (F), l'annexe à la convention renferme le descriptif suivant: "la Morge, ayant un cours très torrentueux, change parfois de lit, auprès du village de Novel, lo[r]squ'il se produit des crues considérables; mais le lit ancien et le lit nouveau n'ont différé jusqu'ici et ne peuvent différer que d'une façon presque insignifiante. Il n'y a pas et, après des crues nouvelles, il n'y aura pas lieu de rechercher quel était le lit antérieur du torrent; la frontière est et continuera d'être déterminée par la «rive droite» telle qu'elle existe ou existera en fait, les mots «rive droite» étant interprétés comme il a été dit précédemment [ (sommet de la berge, c'est-à-dire du petit talus d'éboulement en pente raide ou du petit escarpement rocheux qui borde immédiatement le cours d'eau, de façon à comprendre seulement l'espace nécessaire à l'écoulement des grandes eaux et à la culée des ponts construits ou à construire; à cet égard, cf. chapitre relatif à la frontière Du pont de l'Isle sur l'Eau-noire à la plaine d'Emosson de l'annexe à la convention)] et des légères modifications possibles de la rive entraînant les mêmes modifications du tracé de la démarcation politique, sans que, bien entendu, cette disposition vise, en aucune façon, les propriétés communales ou particulières, dont les limites, confondues autrefois avec la frontière, restent et resteront telles qu'elles ont été fixées par les plans et autres titres antérieurs, quelle que puisse être leur position par rapport à la rive droite de la Morge, avant ou après les crues. A peu de distance en aval du village de Novel, le torrent entre dans une vallée très étroite, presque dans une gorge où son lit fort res[s]erré ne peut plus guère subir des modifications".
4.2.2. En ce qui concerne le tracé frontalier entre les communes limitrophes de St-Gingolph (CH) et St-Gingolph (F), l'annexe à la convention mentionne notamment que "trois ponts relient l'un à l'autre les deux villages de Saint-Gingolph: 1° près de l'église, le Pont du moulin; 2° sur la route du Simplon, le pont principal dit Pont de Saint-Gingolph; 3° enfin, en aval, à 45 mètres environ de l'embouchure, le Pont de la scierie. Les trois ponts sont entièrement français, ainsi que leurs deux culées et le sol sur lequel elles reposent, qui fait partie de la berge. Entre le pont du moulin et le pont de la route du Simplon se trouve le viaduc sur lequel le chemin de fer d'Annemasse à Saint-Maurice traverse la Morge. La séparation de la partie suisse et de la partie française de la ligne est formée par l'axe de la pile médiane du viaduc. Cette pile ne peut recevoir de dispositif en vue d'une destruction éventuelle. La frontière est marquée, dans l'intérieur du village de Saint-Gingolph, par les numéros 96 et 97, au point où elle coupe le viaduc du chemin de fer et la route du Simplon, conformément aux indications" figurant ensuite à l'annexe de la convention.
" La Morge étant sujette à des crues qui, dans la partie inférieure de son cours et notamment dans la traversée du village de Saint-Gingolph, occasionnent parfois des dégâts très considérables, des travaux de correction ou d'endiguement sont à prévoir. A l'exception de réparations aux digues actuelles, des travaux de ce genre ne peuvent être entrepris qu'après un accord préalable entre les autorités des deux Etats; chacun d'eux supporte les frais des travaux exécutés du côté de son territoire.
Cette section de la frontière se termine à l'extrémité de la rive droite de la Morge, au point où cette rivière se jette dans le lac Léman ".
4.3. Il est vrai que, d'un point de vue formel, la compétence de conclure des conventions internationales modifiant les frontières de la Suisse appartient au Conseil fédéral. Néanmoins, en pratique, il n'est pas exclu que le tracé de la frontière subisse des modifications matérielles, notamment par la réalisation de travaux nécessaires, sans que celles-ci ne soient préalablement entérinées par les gouvernements nationaux concernés, ces modifications faisant alors l'objet de traités bilatéraux subséquents (à titre d'exemple, cas de la correction du cours de l'Hermance, cf. FRANÇOIS SCHRÖTER, Les frontières de la Suisse, thèse 2007, ch. 6.4.9 p. 251 ss; ou encore la rectification de la frontière franco-suisse entre le département du Doubs et le canton de Vaud, cf. convention du 18 septembre 1996 [RS 0.132.349.28]; à ce propos également, intervention du Conseiller fédéral Joseph Deiss du 9 décembre 2002 [BO 2002 E 1159]; rapport 159 (98-99) de la Commission des affaires étrangères du Sénat de la République française, annexé au procès-verbal de la séance du 20 janvier 1999, disponible sur le site www.senat.fr/rap/l98-159/l98-159.html, consulté le 1er octobre 2021). Dans le cas particulier, comme l'a relevé la cour cantonale, les travaux d'aménagement de la Morge ont été définis au sein du CoPil composé de représentants des deux pays concernés. Un accord de principe, portant sur la régularisation de la frontière modifiée par les travaux, a d'ailleurs été discuté au sein de ce comité (cf. procès-verbal du 30 janvier 2018), comme le confirme implicitement Swisstopo, ce qui, à ce stade, apparaît suffisant et ne commande pas de sanctionner le projet litigieux.
4.4. Il n'y a par ailleurs pas non plus lieu de revenir sur la compétence des autorités helvétiques, respectivement valaisannes, pour l'approbation des travaux ici débattus, spécialement s'agissant de la passerelle litigieuse. Un examen attentif de la convention du 10 juin 1891 exclut que le système de frontière variable - au gré des crues de la Morge -, dont le recourant déduit une extension du territoire français vers l'est, au niveau de l'embouchure de la Morge, s'applique à la traversée des villages de St-Gingolph. En effet, ce système repose sur le caractère très torrentueux de la Morge auprès du village français de Novel et non sur l'entier de son tracé. La définition de "rive droite" donnée dans ce cadre laisse en outre supposer que, dans ce secteur, la rivière s'écoule encore dans un lit naturel (petit talus d'éboulement en pente raide ou du petit escarpement rocheux qui borde immédiatement le cours d'eau), ce qui n'est plus le cas en traversée des localités de St-Gingolph. A cela s'ajoute que le principe d'une frontière variable ne concerne, au regard de la systématique de la convention du 10 juin 1891, que le territoire des communes limitrophes de Novel, en France, et de St-Gingolph, en Suisse, à l'exclusion de son homonyme française. L'application du système de frontière variable apparaît exclu au niveau de la traversée des deux villages de St-Gingolph par la définition, dans ce secteur, de la frontière au moyen de bornes, respectivement les inscriptions gravées dans le rocher ou un trottoir, décrites par la convention (nos 95 à 97). Cela correspond aux constatations mentionnées dans la convention du 10 juin 1891, selon lesquelles, jusqu'à l'inscription no 95 dans le rocher, le lit resserré de la Morge ne peut guère subir de modifications, alors qu'en aval de cette inscription, la vallée s'élargit et pourrait permettre des modifications plus conséquentes du lit de la rivière. Afin d'éviter ainsi des modifications significatives de la frontière, celle-ci n'est plus ici définie par le lit de la Morge, mais par des bornes et inscriptions fixes décrites en détail dans la convention.
Dans ces conditions, et à ce stade, il n'y a pas lieu de revenir sur la frontière telle qu'elle a été définie sur la base de la convention du 10 juin 1891, avant la crue du 2 mai 2015, et rappelée céans, plans à l'appui, par l'Office fédéral de topographie, en sa qualité d'organe spécialisé de la Confédération. Il s'ensuit que les autorités du canton du Valais, lesquelles ont de surcroît agi après que le CoPil a donné son assentiment, étaient territorialement compétentes pour approuver les éléments du projet situés sur le territoire suisse.
4.5. Sur le vu de ce qui précède, le grief de violation du droit international et de la Constitution fédérale doit, dans son intégralité, être rejeté.
5.
Le recourant fait valoir une violation du principe de la coordination ancré à l'art. 25a LAT.
5.1. L'art. 25a LAT énonce, à ses al. 1 à 3, des principes en matière de coordination lorsque l'implantation ou la transformation d'une construction ou d'une installation nécessite des décisions émanant de plusieurs autorités. Une autorité chargée de la coordination doit en particulier veiller à ce que toutes les pièces du dossier de demande d'autorisation soient mises simultanément à l'enquête publique (art. 25a al. 2 let. b LAT) et à ce qu'il y ait une concordance matérielle des décisions ainsi que, en règle générale, une notification commune ou simultanée (art. 25a al. 2 let. d LAT); ces décisions ne doivent pas être contradictoires (art. 25a al. 3 LAT). La loi ne tend enfin pas à une coordination maximale, mais doit assurer une coordination suffisante (cf. arrêts 1C_449/2020 du 26 août 2021 consid. 6.1; 1C_67/2018 du 4 mars 2019 consid. 5.1 publié in: DEP 2019 p. 348).
5.2. Le recourant estime que le principe de la coordination aurait été violé faute pour les travaux litigieux d'avoir été formellement approuvés par le Conseil fédéral et le Gouvernement français. Cette critique est à mettre en relation avec le grief de violation du droit international et de la Constitution fédérale, examiné au consid. 4 ci-dessus; elle doit être écartée pour les mêmes motifs (cf. en particulier consid. 4.3).
5.3. Selon le recourant et sauf à violer, là encore le principe de la coordination, la réalisation du projet de passerelle sur sol suisse aurait dû être conditionnée à la validation préalable de la portion française de l'ouvrage, dont la légalité serait actuellement contestée devant les autorités judiciaires de ce pays. En refusant d'ordonner la production des dossiers constitués dans le cadre de ces procédures, le Tribunal cantonal aurait en outre violé son droit d'être entendu (art. 29 al. 2 Cst.).
Le projet litigieux impliquant l'intervention et la collaboration d'autorités étrangères, se pose la question de la mesure dans laquelle le principe de la coordination - défini par le droit fédéral - lui est applicable. A l'examen de la LAT, il apparaît qu'une coordination internationale n'est prévue, spécifiquement pour les cantons contigus à la frontière, qu'en matière de planification directrice (cf. art. 7 al. 3 LAT; PIERRE TSCHANNEN, Commentaire pratique LAT: Planification directrice et sectorielle, pesée des intérêts, 2019, n. 6 ad art. 7 LAT); et encore l'art. 7 al. 3 LAT ne permet-il pas de garantir qu'une collaboration transfrontalière aura effectivement lieu (TSCHANNEN, op. cit., n. 30 ad art. 7 LAT). Quoi qu'il en soit, indépendamment de l'applicabilité de l'art. 25a LAT, respectivement de la mesure dans laquelle les principes qu'il définit doivent être appliqués dans le cas particulier, force est de reconnaître qu'autorités suisses et françaises ont, par le biais de la constitution du CoPil, de l'élaboration d'un projet commun et de sa présentation, le 26 juin 2017, aux habitants des deux communes (valaisanne et française), assuré la coordination nécessaire à la création d'une passerelle transfrontalière, reliant aujourd'hui déjà les berges suisses et françaises. Dans le cas particulier, il n'y a pas lieu d'étendre au-delà de ces opérations les exigences de coordination. On ne saurait en particulier voir dans l'hypothèse - émise par le recourant - d'une décision du Tribunal administratif de Grenoble constatant l'illicéité de la portion française de la passerelle, voire ordonnerait sa démolition, une décision contradictoire au sens de l'art. 25a LAT, une telle décision, ultérieure, relevant exclusivement du droit matériel et procédural français; elle pourrait en revanche, le cas échéant, constituer un motif de réexamen (ou d'adaptation) de la décision d'autorisation délivrée en Suisse (sur ces questions cf. BENOÎT BOVAY, Procédure administrative, 2e éd. 2015, p. 391 ss; pour le canton du Valais, cf. art. 33 de la loi cantonale sur la procédure et la juridiction administratives du 6 octobre 1976 [LPJA; RS VS 172.6]). Connaître l'état actuel des procédures menées - aux dires du recourant - devant les juridictions françaises s'avère ainsi sans pertinence pour l'issue du litige, de sorte qu'on ne saurait pas non plus déduire du refus du Tribunal cantonal d'instruire cette question une violation du droit d'être entendu (art. 29 al. 2 Cst.; cf. <ref-ruling> consid. 4.1 et les arrêts cités).
5.4. Au surplus, le recourant n'avance aucun autre élément qui, sur le plan de la procédure menée par les autorités valaisannes, consacrerait une violation du principe de la coordination, respectivement concrétiserait un risque de décisions contradictoires. Il n'explique en particulier pas en quoi l'absence au dossier de certains documents mentionnés aux art. 26 de la loi cantonale sur l'aménagement des cours d'eau du 15 mars 2007 (RS/VS 721.1) et 23 de son ordonnance du 5 décembre 2007 (RS/VS 721.100) conduirait à une violation de l'art. 25a LAT. Le recourant ne démontre pas davantage, contrairement aux exigences de motivation accrue de l'art. 106 al. 2 LTF (cf. <ref-ruling> consid. 3; <ref-ruling> consid. 2.1; arrêt 1C_510/2020 du 21 juin 2021 consid. 3), que l'instance précédente aurait procédé à une application arbitraire de ces dispositions cantonales, pas plus qu'il ne discute les considérations développées sur ce point dans l'arrêt attaqué. Il n'est pas non plus pertinent de prétendre que le principe de la coordination serait violé faute pour les autorités cantonales d'avoir établi un rapport d'impact sur l'environnement. L'art. 23 de l'ordonnance cantonale sur l'aménagement des cours d'eau, auquel se réfère le recourant, n'exige pas, contrairement à ce qu'il soutient, l'établissement d'un tel rapport, la possibilité d'établir le cas échéant une notice d'impact sur l'environnement étant également mentionnée. Sur le plan du droit fédéral, le recourant n'indique enfin pas non plus les motifs pour lesquels, en particulier au regard de l'annexe à l'ordonnance fédérale du 19 octobre 1988 relative à l'étude d'impact sur l'environnement (OEIE; RS 814.011), le projet litigieux serait soumis à une étude d'impact et que la NIE établie en l'espèce serait insuffisante (cf. art. 4 OEIE).
5.5. En définitive, sur le vu de ce qui précède, les griefs relatifs au principe de la coordination doivent être rejetés dans la mesure de leur recevabilité.
6.
Le recourant se plaint encore d'une violation du principe de la préservation du paysage (art. 1 et 3 LAT). Il fait en particulier valoir l'inscription du village de St-Gingolph à l'Inventaire fédéral des sites construits à protéger en Suisse (ci-après: ISOS; cf. ordonnance fédérale du 13 novembre 2019 concernant l'ISOS [OISOS; RS 451.12]). Le recourant affirme que le projet de réaménagement de la Morge, en tant qu'il prévoit la réalisation d'une passerelle sur le lac, enjambant l'embouchure de la Morge, d'une hauteur d'au moins trois mètres, garde-corps compris, sur une longueur totale de plus de 72 m, porterait un sérieux préjudice au paysage qu'aucun intérêt public ne justifierait.
6.1. A l'examen du dossier, il apparaît que les questions d'intégration, en lien notamment avec l'inscription de St-Gingolph à l'ISOS, ont été dûment prises en comptes par le dossier d'enquête, spécialement par la notice d'impact sur l'environnement (cf. NIE, ch. 3.9 s., p. 28 ss). Ce document retient en particulier qu'en redonnant un caractère plus naturel à la Morge et surtout plus d'espace à son embouchure l'impact du projet est positif sur le paysage. L'entrée de la Morge dans le Léman correspondra mieux à l'image que l'on se fait d'un affluent qui peut développer un petit delta. La NIE souligne que l'emprise du projet se situe entièrement dans le périmètre environnant III (PE III) "Cours de la Morge encaissé marquant la frontière entre la Suisse et la France". Ce périmètre est répertorié dans la catégorie "a" avec un objectif de sauvegarde "a" qui préconise la sauvegarde de l'état existant en tant qu'espace agricole ou libre pour sa qualité de signification en tant que frontière. La qualité significative du PE III restera cependant inchangée, en phase d'exploitation. L'impact du projet sur le périmètre bâti, les monuments et l'archéologie sera nul (cf. NIE, ch. 3.10, p. 28 ss). Dans le cadre de l'instruction du projet, ces éléments ont été soumis aux différents services cantonaux spécialisés, lesquels ont, dans ce cadre, délivrés les préavis nécessaires.
Par ailleurs, comme l'indiquait le Service cantonal du développement territorial (ci-après: SDT) au stade de la procédure d'autorisation (cf. préavis du SDT du 14 mars 2019) et comme le confirme céans l'OFEV, un chemin pédestre principal homologué empruntait l'ancienne passerelle piétonne sise à l'amont de la confluence avec le lac (cf. rapport technique, ch. 2.6.1, p. 23); or cette dernière ne peut être maintenue pour des raisons de sécurité (cf. rapport technique ch. 2.10, p. 35 ss; ch. 5.3.1, p. 60 ss), ce qui n'est d'ailleurs pas discuté par le recourant; la reconstruction d'une passerelle, en permettant le maintien de ce chemin, répond ainsi à l'intérêt public à la création et à l'entretien de ces itinéraires, principe ancré dans la Constitution fédérale (cf. art. 88 Cst.) et dont la concrétisation est assurée par la loi fédérale du 4 octobre 1985 sur les chemins pour piétons et les chemins de randonnée pédestre (LCPR; RS 704); celle-ci prévoit notamment, à son art. 7 al. 1, que si les chemins pour piétons et les chemins de randonnée pédestre figurant dans les plans doivent être supprimés en tout ou en partie, il faut pourvoir à un remplacement convenable par des chemins existants ou à créer, en tenant compte des conditions locales (à ce propos, voir également OFROU et Suisse Rando, Obligation de remplacement des chemins de randonnée pédestre, guide de recommandation à l'égard de l'art. 7 LCPR, 2012; en droit cantonal, cf. art. 10 de la loi valaisanne sur les itinéraires de mobilité de loisirs du 14 septembre 2011 [LIML; RS/VS 704.1]). La NIE qualifie également la nouvelle passerelle d'itinéraire de mobilité douce. A ce titre et compte tenu de sa situation au bord du lac Léman, la réalisation de cet ouvrage répond, comme l'indique céans la commune, à des intérêts liés à la promotion du tourisme et au développement territorial souhaité par la planification directrice du canton du Valais pour les rives du Léman (cf. plan directeur cantonal du Valais, fiche de coordination A.15).
6.2. Le recourant ne prend aucunement la peine de discuter ces différents aspects liés à la protection du paysage et des sites. Par sa critique, au demeurant soulevée pour la première fois devant le Tribunal fédéral, son auteur se contente en réalité de livrer, sur un mode strictement appellatoire, sa propre appréciation de la situation, au mépris des exigences générales de motivation du recours fédéral de l'art. 42 al. 2 LTF (cf. <ref-ruling> consid. 1.7.1). Il n'explique en particulier pas quels éléments caractéristiques identifiés par l'ISOS seraient mis en péril par la passerelle litigieuse. Il ne discute du reste pas non plus les intérêts publics poursuivis par cet ouvrage, ressortant du dossier cantonal, se contentant de nier, sans réelle explication, l'existence de tout intérêt au projet, ce qui est également insuffisant sous l'angle des exigences de motivation. Dans ces conditions, rien ne commande de revenir sur l'évaluation des autorités cantonales, lesquelles relèvent de surcroît de l'appréciation des circonstances locales, pour l'examen desquelles le Tribunal fédéral s'impose une certaine retenue (cf. <ref-ruling> consid. 3.2.2; <ref-ruling> consid. 4.3).
Sur le vu de ce qui précède, le grief doit être écarté.
7.
Dans un ultime grief, invoquant l'art. 41c de l'ordonnance fédérale du 28 octobre 1998 sur la protection des eaux (OEaux; RS 814.201), le recourant soutient à nouveau que la réalisation de la passerelle ne répondrait à aucun intérêt public prépondérant; son implantation dans l'ERE ne serait en outre pas imposée par sa destination.
7.1. Selon l'art. 41c al. 1 1 ère phrase OEaux, ne peuvent être construites dans l'espace réservé aux eaux que les installations dont l'implantation est imposée par leur destination et qui servent des intérêts publics, tels que les chemins pour piétons et de randonnée pédestre, les centrales en rivières et les ponts.
7.2. A l'instar du grief précédent, la recevabilité des explications du recourant en lien avec cette critique est également douteuse, celles-ci apparaissant appellatoires et pour le moins laconiques (cf. art. 42 al. 2 LTF). Elles ne contiennent quoi qu'il en soit aucun élément commandant de douter de la conformité du projet à l'art. 41c OEaux, corroborée céans par l'OFEV. L'art. 41c OEaux mentionne d'ailleurs expressément les chemins pédestres en tant qu'installation imposée par sa destination (cf. également DTAP, CDCA, OFEV, ARE, OFAG, Guide modulaire pour la détermination et l'utilisation de l'ERE en Suisse, juin 2019, p. 16). En outre, le lieu d'implantation de l'ouvrage résulte d'une analyse de variantes, qui a permis de déterminer le meilleur emplacement possible compte tenu des contraintes et intérêts existants (cf. rapport technique, ch. 5.3 ss, p. 59 ss), aspect qui n'est pas sérieusement discuté. Enfin et comme cela a été exposé au consid. 6.1, la passerelle en question répond à un intérêt public lié au maintien d'un chemin pédestre principal; elle assure le lien entre les itinéraires pédestres reliant les berges suisses et françaises.
Sur le vu de ces éléments, le grief doit être rejeté.
8.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure de sa recevabilité, aux frais du recourant, qui succombe (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Commune de St-Gingolph, au Conseil d'Etat du canton du Valais, à la Cour de droit public du Tribunal cantonal du canton du Valais, à l'Office fédéral de l'environnement ainsi qu'à l'Office fédéral de topographie Swisstopo.
Lausanne, le 18 octobre 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
Le Greffier : Alvarez