Faits :
A.
La société X._ SA est propriétaire de la parcelle n° 491 de la commune de La Tour-de-Peilz. Riveraine du lac Léman, cette parcelle est actuellement louée par un pêcheur professionnel pour l'exercice de son activité et supporte deux petits bâtiments de respectivement 17 m2et 21 m2. Elle est notamment grevée d'une servitude de passage public à pied longeant la rive du lac, constituée en faveur de l'Etat de Vaud.
B.
Par décision du 8 février 2016, la Municipalité de La Tour-de-Peilz a ordonné la démolition du portail fermé à clé sis sur le tracé du droit de passage public précité à la limite de la parcelle voisine n° 2837, dans un délai de trente jours dès l'entrée en force de l'autorisation d'aménager un chemin public piéton le long de la rive.
L'association A._ ainsi que B._, C._, D._, E._ et F._, tous domiciliés à La Tour-de-Peilz à environ 1 km de la parcelle litigieuse, ont formé recours contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois (CDAP). Ils concluaient à la réforme de l'acte attaqué en ce sens que l'ordre de démolition du portail litigieux devait intervenir dans un délai de 30 jours dès l'arrêt cantonal définitif et exécutoire.
La CDAP a jugé ce recours irrecevable par arrêt du 8 août 2017.
C.
Agissant par la voie du recours en matière de droit public, l'association A._, B._, C._, D._, E._ et F._ demandent au Tribunal fédéral d'annuler l'arrêt attaqué. Subsidiairement, ils concluent au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
La cour cantonale renonce à se déterminer et se réfère aux consi.dérants de son arrêt. La Municipalité de La Tour-de-Peilz conclut principalement à l'irrecevabilité du recours et subsidiairement à son rejet. La Direction générale de l'environnement du canton de Vaud (DGE) conclut au rejet du recours dans la mesure de sa recevabilité. La société intimée renonce à procéder.

Considérant en droit :
1.
Formé contre un arrêt final (<ref-law>) rendu en dernière instance cantonale (art. 86 al. 1 let. d LTF) sur la base du droit public cantonal (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public au sens des <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants - tant les personnes privées que l'association - sont directement touchés par le prononcé d'irrecevabilité de l'arrêt attaqué qui constate leur absence de qualité pour recourir sur le plan cantonal et ont un intérêt digne de protection à en obtenir l'annulation. Ils ont dès lors qualité pour recourir au sens de l'<ref-law>.
La commune de La Tour-de-Peilz fait valoir que le recours est, à tout le moins partiellement, irrecevable sous l'angle de l'<ref-law>, vu le défaut de motivation suffisante. Ce faisant, elle reproche aux recourants de ne pas avoir "exposé en quoi l'acte attaqué serait arbitraire ou ne reposerait sur aucun motif sérieux et objectif, ou serait insoutenable". Or, conformément aux exigences de l'<ref-law>, la violation du droit cantonal est expressément invoquée et motivée. La commune confond vraisemblablement le fait de motiver le grief avec la démonstration que le grief est bien fondé.
Les autres conditions formelles de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière sur le recours.
2.
Les recourants contestent l'application que la cour cantonale a faite de l'art. 75 de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RSV 173.36). Cette disposition prévoit qu'a qualité pour former recours toute personne physique ou morale ayant pris part à la procédure devant l'autorité précédente ou ayant été privée de la possibilité de le faire, qui est atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à ce qu'elle soit annulée ou modifiée (let. a), ainsi que toute autre personne ou autorité qu'une loi autorise à recourir (let. b).
Sous réserve des cas visés à l'art. 95 let. c à e LTF, la violation du droit cantonal ou communal ne constitue pas un motif de recours. Il est néanmoins possible de faire valoir que l'application des dispositions cantonales ou communales consacre une violation d'une norme de droit fédéral au sens de l'<ref-law>, telle que l'art. 9 Cst. garantissant la protection contre l'arbitraire (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3 p. 351).
Appelé à revoir l'application faite d'une norme cantonale ou communale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue que si celle-ci apparaît insoutenable ou en contradiction manifeste avec la situation effective, ou encore si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que celle-ci soit arbitraire dans son résultat. Si l'application de la loi défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.1 p. 168; <ref-ruling> consid. 4.3 p. 319; <ref-ruling> consid. 6.1 p. 379).
Les griefs de violation des droits fondamentaux et des dispositions de droit cantonal sont en outre soumis à des exigences de motivation accrues (<ref-law>). La partie recourante doit alors indiquer les principes constitutionnels qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ces principes auraient été violés; de même, elle doit citer les dispositions du droit cantonal dont elle se prévaut et démontrer en quoi ces dispositions auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (cf. <ref-ruling> consid. 2.8 p. 494; <ref-ruling> consid. 1.4).
3.
L'association A._ considère que la qualité pour recourir devant la CDAP aurait dû lui être reconnue en vertu de l'art. 75 let. a LPA-VD, la majorité de ses membres étant domiciliés à moins de 100 mètres de la rive litigieuse et étant donc très directement concernés par le refus d'ouvrir le portail bloquant le passage public prévu sur le marchepied par la servitude constituée en faveur de l'Etat.
3.1. Les premiers juges ont constaté que le législateur cantonal avait "expressément refusé de faire dépendre la qualité pour agir [au niveau cantonal] d'une atteinte spéciale ou particulière telle qu'elle est exigée pour le recours en matière de droit public" devant le Tribunal fédéral. Cela ne signifiait pas pour autant que l'action populaire était admise, dès lors que l'art. 75 let. a LPA-VD exige un intérêt digne de protection à l'annulation ou à la modification de la décision attaquée, à l'instar de ce que prévoit l'art. 89 al. 1 let. c LTF. La cour cantonale a ainsi souligné que, pour disposer de la qualité pour agir, il faut être touché dans une mesure et avec une intensité plus grandes que la généralité des administrés.
3.2.
3.2.1. Dans un premier temps, les recourants font valoir que, dès lors que la qualité pour agir définie à l'art. 75 let. a LPA est plus large que celle de l'<ref-law>, une comparaison systématique avec la jurisprudence fédérale est sans pertinence. Il est constant en l'occurrence que les termes de l'art. 75 let. a LPA-VD diffèrent de ceux de l'<ref-law>, la disposition fédérale exigeant, entres autres conditions pour reconnaître la qualité pour agir devant le Tribunal fédéral, que la partie recourante soit particulièrement atteinte par l'acte attaqué, terme auquel le législateur cantonal a expressément renoncé. La cour cantonale n'a en réalité pas ignoré cette distinction (cf. consid. 3.1 ci-dessus), mais a jugé que la condition de l'intérêt digne de protection excluait l'action populaire. Cette interprétation paraît confirmée par les débats du législateur cantonal s'agissant de l'art. 75 LPA-VD. En effet, selon le point de vue défendu par les partisans d'une qualité pour recourir élargie sur le plan cantonal, "la formulation sans l'adverbe "particulièrement" interdit une action populaire lancée par quiconque" (Bulletin du Grand Conseil, séance du mardi 30 septembre 2008, p. 47, intervention de Raphaël Mahaim). Il a en effet expressément été précisé que la suppression de l'adverbe "particulièrement" ne signifiait pas que "n'importe quelle personne, au bon vouloir de toutes celles qui pourraient éventuellement avoir envie de faire recours, n'importe quelle personne pourrait recourir" ( ibidem).
Dans un second temps, les recourants se prévalent d'un unique arrêt cantonal pour procéder par analogie et prétendre à la reconnaissance de la qualité pour agir devant la CDAP de l'association recourante. Dans cette arrêt cantonal (arrêt AC.2013.0454 du 29 octobre 2015), la qualité pour recourir de l'Association des propriétaires riverains des lacs vaudois avait été reconnue au motif qu'un plan d'affectation, régissant une portion restreinte de rive du lac Léman mais s'inscrivant dans un programme d'ensemble prévu par le plan directeur cantonal des rives vaudoises du lac Léman, touchait la plus grande majorité des membres de l'association. A la différence du cas d'espèce, la qualité de propriétaires riverains des membres de l'association leur conférait un intérêt qui leur était propre: il s'agissait en effet de défendre leurs intérêts fonciers, principalement dans le cadre de la constitution de droits réels restreints ou d'éventuelles expropriations, de sorte que les propriétaires étaient plus touchés que quiconque par la procédure en cause. Dans le cas présent, l'association considère que nombre de ses membres sont très directement concernés dès lors qu'ils habitent à moins de 100 mètres de la rive litigieuse. Ce faisant, elle se contente de faire valoir un intérêt de ses membres à pouvoir se promener librement le long de la rive litigieuse. Or, dans l'arrêt attaqué, la cour cantonale expose précisément ne pas discerner en quoi, de ce point de vue, les membres de l'association seraient plus touchés que les autres habitants de la commune, ni même que n'importe quel promeneur - soit en réalité n'importe quel administré, quel que soit son lieu de domicile - qui souhaiterait longer les rives du lac. Les recourants ne discutent pas cette question et se bornent à affirmer de façon appellatoire que la proximité du lieu d'habitation rendrait les membres de l'association "très directement concernés" par la procédure. Ce faisant, ils ne démontrent pas, ni même ne prétendent, que les membres de l'association devraient faire un usage accru par rapport à n'importe quel promeneur - et donc le public en général - du marchepied prévu, pour quelque motif particulier que ce soit. En d'autres termes, ils ne démontrent pas en quoi l'intérêt des membres de l'association se distinguerait, par la seule proximité de leur lieu de domicile, de l'intérêt général.
En résumé, la cour cantonale a dénié le droit de recours à l'association au motif que le lui reconnaître reviendrait en l'espèce à consacrer l'action populaire, ce qui, on l'a vu, n'a pas été voulu par le législateur cantonal. Cette application de l'art. 75 let. a LPA-VD est manifestement dénuée d'arbitraire. La comparaison avec l'affaire mentionnée par les recourants ne permet en outre pas de constater une variation injustifiée de la pratique.
3.2.2. Dans leur réplique, les recourants font nouvellement valoir un arrêt cantonal dans lequel la CDAP avait accordé des dépens à l'association Y._ dans un cas similaire de servitudes de passage en faveur du public le long de la rive du lac. Ils précisent qu'à teneur des art. 55 ss LPA-VD, seules les parties reconnues comme telles à une procédure judiciaire peuvent obtenir des dépens. L'art. 55 al. 1 LPA-VD prévoit qu'en procédure de recours et de révision, l'autorité alloue une indemnité à la partie qui obtient totalement ou partiellement gain de cause, en remboursement des frais qu'elle a engagés pour défendre ses intérêts.
Ce grief appelle deux remarques. D'une part, les recourants ne démontrent pas que la qualité de partie est équivalente à la qualité pour recourir au sens de l'art. 75 LPA-VD. D'autre part, la formulation de l'art. 55 LPA-VD n'exclut pas que d'autres personnes ou entités, à l'instar par exemple de tiers intéressés, puissent se voir accorder des dépens s'ils ont été invités à participer à la procédure.
3.2.3. C'est donc sans arbitraire que la cour cantonale a dénié à l'association recourante la qualité pour agir devant elle.
3.2.4. Au demeurant, l'association recourante ne figure pas au nombre de celles que le droit fédéral désigne comme organisations habilitées à recourir en matière de chemins de randonnée pédestre au sens des art. 14 al. 1 let. b de la loi fédérale du 4 octobre 1985 sur les chemins pour piétons et les chemins de randonnée pédestre (LCPR; RS 704) et 1 de l'ordonnance fédérale du 16 avril 1993 relative à la désignation des organisations spécialisées pour les chemins pour piétons et les chemins de randonnée pédestre habilitées à recourir (RS 704.5). Il n'y a dès lors pas lieu de se demander si une telle organisation serait compétente pour recourir dans les circonstances de la présente cause (cf. <ref-law>).
4.
Les recourants considèrent ensuite que la qualité pour agir devant le Tribunal cantonal devait leur être reconnue sur le plan individuel, au titre d'habitants de la commune concernée. Ils se plaignent de l'appréciation de la cour cantonale dont ils déduisent que seuls les habitants dont les propriétés donnent directement sur le lac pourraient être considérés comme ayant un intérêt juridiquement protégé.
Ainsi qu'on l'a vu, considérer que l'intérêt à pouvoir bénéficier de la servitude publique et à se promener le long du lac est le même pour des personnes habitant à 100 mètres de la rive litigieuse que pour celles habitant dans une toute autre région n'est pas constitutif d'arbitraire. Dans cette mesure, certes, le cercle des personnes habilitées à faire recours est très restreint et, selon les cas de figure, potentiellement limité à des administrés - on pense ici aux riverains - non préoccupés par la mise en oeuvre du droit de passage. Cela ne saurait toutefois justifier d'étendre la qualité pour recourir aux personnes poursuivant uniquement un intérêt général.
Les recourants exposent eux-mêmes que dénier la qualité pour recourir à ceux qui n'habitent pas directement sur le bord du lac revient à priver tout habitant de la commune du droit de faire constater les violations du droit par les autorités communales ou cantonales. Or c'est précisément ce qu'a souhaité le législateur cantonal en proscrivant l'action populaire, à laquelle sont assimilés les recours dont le seul but est de garantir l'application correcte du droit (<ref-ruling> consid. 2.2 p. 504; arrêts 1C_196/2017 du 22 novembre 2017 consid. 2.1; 1C_320/2010 du 9 février 2011 consid. 2.3).
5.
Enfin, les recourants se prévalent de la qualité pour agir de deux d'entre eux en tant que pêcheurs.
5.1. L'art. 1 de la loi vaudoise du 10 mai 1926 sur le marchepied le long des lacs et sur les plans riverains (LML; RSV 721.09) prévoit qu'il doit être laissé, le long de la rive et sur une largeur de 2 mètres, un espace libre de toute construction ou autre obstacle à la circulation, pour le halage des barques et bateaux, le passage ou marchepied des bateliers et de leurs aides, soit pour tous autres besoins de la navigation ainsi que pour ceux de la pêche. En vertu de l'art. 2 al. 1 LML, cet espace libre n'est réservé qu'en faveur des personnes qui exercent le halage des bateaux et en faveur des bateliers, comme marchepied pour les besoins de la navigation, ainsi que des pêcheurs pour l'exercice de la pêche.
5.2. La cour cantonale a souligné l'incertitude que l'art. 2 al. 1 LML soulevait quant à savoir si les pêcheurs de loisirs, non titulaires d'un permis, pouvaient se prévaloir de cette disposition. Elle a toutefois laissé cette question indécise, constatant que les recourants n'avaient apporté aucun élément permettant de considérer qu'ils faisaient partie des bénéficiaires du droit de marchepied de la LML, ce en dépit des doutes émis par l'autorité concernée quant à leur droit à s'en prévaloir.
Sur ce point, on ne saurait qualifier l'appréciation de la cour cantonale d'arbitraire. Lorsqu'ils contestent avoir omis de faire la démonstration de leur qualité pour recourir en vertu de la LML, les recourants admettent toutefois que la Direction générale de l'environnement avait mis en doute leur qualité pour agir sur le plan individuel et fait valoir qu'ils ne faisaient pas partie des personnes visées par l'art. 1 LML, donc contestait manifestement tant leur éventuelle qualité de "personnes qui exercent le halage des bateaux", de "bateliers", de "personnes justifiant de "besoins de la navigation", que de "pêcheurs". Dans ces circonstances, la cour cantonale pouvait sans arbitraire attendre d'eux que, dans la réplique qu'ils ont déposée ensuite, les recourants apportent la démonstration de leur appartenance au cercle des personnes visées par la LML s'ils entendaient persister à s'en prévaloir. La non-tenue d'une audience par la CDAP ne saurait justifier une telle lacune de leur part, dès lors qu'ils ne démontrent pas que cette pratique serait imposée par la loi ou à tout le moins systématique. Ils ne font au demeurant pas valoir de violation de leur droit d'être entendus à cet égard.
En tout état, les recourants échouent à démontrer l'arbitraire dans l'appréciation de la cour cantonale qui a considéré qu'il n'y avait pas lieu de retenir une qualité pour agir des recourants en tant qu'éventuels pêcheurs.
6.
Sans formellement en faire un grief à part entière, les recourants se réfèrent dans leur réplique à un arrêt du Tribunal fédéral (arrêt 1C_157/2014 du 4 novembre 2015) dans lequel il a été "reconnu à des personnes physiques, simples habitants du canton de Zurich, la qualité pour recourir à l'encontre d'une norme rendant plus difficile l'accès du public aux rives du lac", cas dans lequel "les particuliers avaient qualité pour recourir au regard de l'<ref-law> parce qu'ils sont simplement intéressés à utiliser les sentiers des rives du lac en tant que piétons ou promeneurs". On comprend de ces affirmations que les recourants se plaignent de ce que la qualité pour recourir reconnue par l'<ref-law> ne l'a pas été par le Tribunal cantonal devant sa cour, ce en violation de l'<ref-law>.
6.1. L'<ref-law> prévoit que la qualité de partie à la procédure devant une autorité cantonale précédente doit être reconnue à quiconque a la qualité pour recourir devant le Tribunal fédéral. Il résulte de cette disposition que la qualité pour recourir devant les autorités cantonales ne peut pas s'apprécier de manière plus restrictive que la qualité pour recourir devant le Tribunal fédéral, les cantons demeurant libres de concevoir cette qualité de manière plus large (<ref-ruling> consid. 2.1 p. 45). S'agissant de droit fédéral (<ref-law>), le Tribunal fédéral examine cette question librement.
6.2. Se prévalant de l'<ref-law> tel qu'il a été appliqué dans l'arrêt auquel ils se réfèrent (arrêt 1C_157/2014 du 4 novembre 2015), les recourants omettent le fait que l'examen du respect de cette disposition avait lieu dans le cadre d'un contrôle abstrait. Dans de telles circonstances, une simple atteinte virtuelle suffit pour pouvoir justifier d'un intérêt particulier à recourir, ce qui n'est pas le cas dans le cadre du recours dirigé contre une décision (<ref-ruling> consid. 1.6 p. 445; cf. FLORENCE AUBRY GIRARDIN, Commentaire LTF, 2e éd. 2014, n. 38 ad <ref-law>). Au contraire, s'agissant de l'intérêt concret de voisins à se prévaloir du droit de cheminer le long du lac, le Tribunal fédéral a considéré que la proximité de leurs parcelles de celles sur lesquelles un sentier riverain devrait être aménagé ne permettait pas de conclure qu'ils étaient touchés dans une mesure plus importante que les autres habitants de la commune ou que le reste de la population en général (arrêt 1C_133/2007 du 27 novembre 2007 consid. 4.2). En tous points similaires au cas présent, cette affaire permet de constater que le droit fédéral n'a pas été violé.
7.
Il résulte de ce qui précède que le recours doit être rejeté, aux frais de ses auteurs, qui succombent (<ref-law>). L'intimée n'ayant pas procédé, elle ne peut prétendre à des dépens. Il en va de même de la commune de La Tour-de-Peilz, qui a agi dans l'exercice de ses attributions officielles (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants, solidairement entre eux.
3.
Le présent arrêt est communiqué aux parties, à la Municipalité de La Tour-de-Peilz, à la Direction générale de l'environnement du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 29 octobre 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Sidi-Ali