Faits :
A.
La Commune de Vevey est propriétaire de la parcelle n° 1173 sur le territoire communal, située au chemin des Crosets au lieu-dit "Stade de Copet". D'une surface de 32'761 m2, cette parcelle d'environ 200 m de longueur et orientée nord-est/sud-ouest, est située sur la rive droite de la Veveyse en zone de danger faible. Elle comprend quelques constructions, une piste d'athlétisme dans sa partie nord et deux terrains de football. Elle est colloquée en zone IV "industrie" selon le plan d'affectation communal et le règlement du 28 novembre 1952, mis à jour le 1er janvier 1964 (ci-après: le "RCVV").
Par décision du 21 août 2014, la Municipalité de Vevey (la municipalité) a délivré un permis d'implantation pour un bâtiment scolaire (collège de Gilamont) pour environ 800 élèves et 120 enseignants dans la partie nord-est de la parcelle (au niveau du terrain d'athlétisme) en bordure de la Veveyse. L'établissement projeté comportait deux niveaux souterrains (triple salle de gymnastique), une salle à manger, une aula et une bibliothèque au rez supérieur et des salles de classe dans les étages supérieurs. Cette décision se fonde sur la synthèse délivrée le 11 avril 2014 par la Centrale des autorisations CAMAC du canton de Vaud comportant notamment les autorisations spéciales de la Direction générale de l'environnement (DGE) et de l'Etablissement d'assurance contre l'incendie et les éléments naturels du canton de Vaud (ECA). Les oppositions ont été rejetées.
Le 18 décembre 2014, la Municipalité a délivré le permis de construire, rejetant à nouveau les oppositions. Diverses mesures étaient notamment prévues afin d'éviter une inondation des étages inférieurs en cas de crue de la Veveyse.
Par arrêt du 1er juillet 2016, la Cour de droit administratif et public du Tribunal cantonal vaudois a admis les recours des opposants contre le permis d'implantation et le permis de construire. Le dossier était incomplet s'agissant des dangers de crues pour le bâtiment et ses futurs occupants. L'exigence du caractère non habitable des sous-sols n'était pas respectée. La CDAP a encore relevé une absence de coordination au sens de l'art. 25a LAT, s'agissant des aménagements extérieurs, du trafic induit et des places de stationnement.
B.
Sur la base de plusieurs études complémentaires relatives aux dangers de crues, à la mobilité, aux places de stationnement et au trafic, la Municipalité a délivré le 5 décembre 2017 un nouveau permis de construire assorti de nombreuses conditions posées par les autorités cantonales, ainsi qu'un permis portant sur la réalisation de 30 places de parc. Les oppositions ont été écartées. Le 19 décembre 2017, la Municipalité a adopté un projet de réaménagement de routes communales concernant l'avenue des Crosets, le quai de Copet et la rue de Fribourg, afin notamment d'assurer des possibilités de stationnement supplémentaires.
Par arrêt du 14 mars 2019, la CDAP a rejeté le recours formé contre le permis de construire par la PPE A._ et 7 consorts. Se référant à son précédent arrêt, elle a considéré que même si la planification communale datait de 1964, le périmètre concerné pouvait être considéré comme étant pour l'essentiel bâti: il comportait 1'117 m2 de bâtiments (vestiaires, buvette, temple) et trois terrains de sport aménagés sur diverses couches de fondation et recouverts, pour un terrain de football et le terrain d'athlétisme, de revêtement ou de gazon synthétique, avec quelques gradins, soit des aménagements soumis à autorisation. La parcelle était donc largement bâtie au sens de l'art. 36 al. 3 LAT. Se référant aussi à son précédent arrêt, la CDAP a considéré que le projet était conforme à l'affectation de la zone "industrie", laquelle comportait déjà plusieurs constructions d'intérêt public. Toujours par référence à son premier arrêt, la cour cantonale a considéré que le projet répondait au critère de zone densément bâtie au sens de l'art. 41a al. OEaux, les rives de la Veveyse étant presqu'entièrement bâties tant en amont qu'en aval. Le projet pouvait donc être implanté à moins de 20 m (mais au moins 5 m) du cours d'eau, une dérogation ayant été obtenue de la DGE. Les mesures de protection contre les crues étaient désormais suffisantes. Les questions des places de stationnement et du trafic avaient été traitées de manière coordonnée et satisfaisante.
C.
Agissant par la voie du recours en matière de droit public, la PPE A._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt attaqué et le permis de construire.

La CDAP renonce à se déterminer et se réfère à son arrêt. En réponse et dans ses écritures ultérieures, l'ECA s'en remet à justice, estimant que les griefs soulevés ne concernent pas l'autorisation spéciale qu'il a délivrée. La Ville de Vevey conclut au rejet du recours. L'Office fédéral du développement territorial (ARE) considère que la parcelle ne peut être qualifiée de largement bâtie au sens de l'art. 36 al. 3 LAT; en outre, un tel projet devrait être soumis à une planification actualisée. L'Office fédéral de l'environnement (OFEV) considère pour sa part que la zone ne peut être qualifiée de densément bâtie au sens de l'<ref-law>; l'établissement scolaire pourrait toutefois être réalisé si son implantation était imposée par sa destination. L'OFEV est par ailleurs d'avis que la protection contre les crues est suffisamment assurée. Les recourants ont ensuite maintenu leurs conclusions. La Direction générale de l'environnement du canton de Vaud (DGE) s'est prononcée dans le sens du rejet du recours, contestant les prises de position de l'ARE et de l'OFEV. La Ville de Vevey a produit des déterminations assorties d'un avis de droit, contestant également les conclusions de l'ARE et celles de l'OFEV relatives au caractère densément bâti de la zone. Dans de nouvelles déterminations, l'OFEV émet des réserves sur l'application de l'art. 41c al. 1 let. a bis OEaux préconisée par la DGE. Les recourants puis la Ville de Vevey ont déposé des dernières observations, persistant dans leurs conclusions respectives.
Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public de l'aménagement du territoire et des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
Les recourants ont participé à la procédure devant la cour cantonale (<ref-law>). Selon les constatations figurant dans l'arrêt attaqué, ils sont "pour la plupart" domiciliés à proximité du projet litigieux auquel ils ont fait opposition, et sont ainsi directement touchés par l'arrêt attaqué. Ils ont dès lors qualité pour recourir au sens de l'<ref-law>. En attaquant l'arrêt du 14 mars 2019, les recourants peuvent aussi s'en prendre aux considérants de l'arrêt incident du 1er juillet 2016 puisqu'ils ne pouvaient recourir directement contre cet arrêt en raison de son caractère incident (art. 93 al. 1 et 3 LTF). Il y a lieu par conséquent d'entrer en matière.
2.
Les recourants relèvent que le plan d'affectation et le règlement communal datent de 1952, la mise à jour de 1964 concernant des points de détail sans pertinence pour la présente cause. Une telle planification serait obsolète, comme en atteste la volonté de la commune de revoir son PGA et le classement en zone réservée de la quasi-totalité de la zone "industrie", à l'exception du secteur concerné. Dans ces circonstances, qui justifieraient un contrôle préjudiciel de la planification, l'adoption préalable d'un plan partiel d'affectation s'imposait (PPA), d'autant que le projet dérogerait lui-même à la zone. Dans un autre grief, lié lui aussi à l'ancienneté du PGA, les recourants estiment que les conditions d'application de l'art. 36 al. 3 LAT n'étaient pas réunies: la parcelle, qui figure actuellement comme zone de verdure de détente et de loisir dans le plan directeur communal, ne comprend que quelques constructions (1'117 m2). L'ensemble comporte près de 3 ha et ne pourrait être considéré comme une brèche dans le milieu bâti. Le bâtiment prévu viendrait s'implanter sur un terrain d'athlétisme entouré de 42 arbres.
2.1. La loi fédérale sur l'aménagement du territoire est entrée en vigueur le 1er janvier 1980. Elle charge la Confédération, les cantons et les communes d'établir des plans d'aménagement pour celles de leurs tâches dont l'accomplissement a des effets sur l'organisation du territoire (art. 2 al. 1 LAT). Les cantons et les communes doivent ainsi élaborer des plans d'affectation, qui règlent le mode d'utilisation du sol (art. 14 al. 1 LAT) et délimitent en premier lieu les zones à bâtir, les zones agricoles et les zones à protéger (art. 14 al. 2 LAT). Aux termes de l'art. 15 LAT, les zones à bâtir comprennent les terrains propres à la construction qui sont déjà largement bâtis (let. a) ou qui seront probablement nécessaires à la construction dans les quinze ans à venir et seront équipés dans ce laps de temps (let. b).
Selon l'art. 35 al. 1 let. b LAT, les cantons devaient veiller à ce que les plans d'affectation soient établis à temps, mais au plus tard dans un délai de huit ans à compter de l'entrée en vigueur de la LAT, soit jusqu'au 1er janvier 1988. Les plans d'affectation adoptés avant l'entrée en vigueur de la LAT conservent leur validité jusqu'à cette date (art. 35 al. 3 LAT). Ensuite, tant que le nouveau plan d'affectation n'a pas délimité des zones à bâtir, est réputée zone à bâtir provisoire la partie de l'agglomération qui est déjà largement bâtie, sauf disposition contraire du droit cantonal (art. 36 al. 3 LAT). Lorsqu'un plan d'affectation a été établi sous l'empire de la LAT, afin de mettre en oeuvre les objectifs et principes de cette législation, il existe en effet une présomption qu'il est conforme aux buts et aux principes de cette loi, alors que les plans d'affectation qui n'ont pas encore été adaptés aux exigences de la LAT ne bénéficient pas de cette présomption et leur stabilité n'est pas garantie (cf. art. 21 al. 1 LAT; cf. <ref-ruling> consid. 6b/aa p. 106; <ref-ruling> consid. 2c p. 233; arrêt 1C_361/2011 du 28 juin 2012 consid. 5.1).
2.2. En l'espèce, le PGA de la commune est particulièrement ancien puisqu'il remonte à 1952; il n'est pas contesté que la modification de 1964, elle-même largement antérieure à l'adoption de la LAT, ne porte que sur des points accessoires. Ce qui a été constaté dans la jurisprudence récente au sujet de la commune de Montreux (arrêt 1C_632/2020 du 16 avril 2020 consid. 4.3 destiné à la publication) vaut a fortiori pour Vevey, dont le PGA est plus ancien encore. La situation de la commune de Vevey, qui depuis plus de trente ans ne se conforme pas au droit supérieur, peut également être qualifiée d'aussi extraordinaire qu'incompréhensible, et il n'existe donc aucune présomption que cette planification satisfasse aux exigences de la LAT, en particulier s'agissant de la définition des zones à bâtir. Celle-ci doit être opérée selon les critères de la norme de substitution transitoire de l'art. 36 al. 3 LAT et seules les parties largement bâties du territoire communal peuvent être réputées zones à bâtir provisoires.
2.3. La notion de "terrains déjà largement bâtis" de l'ancien art. 15 let. a LAT, figurant désormais uniquement à l'art. 36 al. 3 LAT, doit être comprise de manière étroite (<ref-ruling> consid. 4.1 p. 222; ALEXANDER RUCH in: Aemisegger/Moor/Ruch/Tschannen, Commentaire pratique LAT, 2016, n° 33 ad art. 36). Elle ne s'applique pas à n'importe quel groupe de constructions; il faut que l'on soit en présence d'un milieu bâti cohérent qui présente les caractéristiques d'une "agglomération", avec les infrastructures habituelles ("Siedlungsstruktur"). Les critères à prendre en compte sont notamment le caractère compact de l'ensemble construit, les équipements, les liaisons avec les autres zones à bâtir ou l'infrastructure publique. La jurisprudence distingue entre les notions de "brèche ou d'espace vide dans le tissu bâti" et de "surface non bâtie plus étendue à l'intérieur du milieu bâti". Les brèches sont des parcelles ou parties de parcelles dont la surface n'est pas très étendue et qui jouxtent directement le territoire construit; elles doivent être marquées par les constructions existantes et former un tout de qualité urbanistique avec les constructions environnantes, notamment en raison de leur degré d'équipement avancé. Les critères quantitatifs ne sont pas seuls déterminants; une évaluation qualitative est indispensable. Lorsque la parcelle non bâtie joue un rôle propre - ce qui peut être le cas en raison de sa taille, de son degré d'équipement mais aussi du fait qu'elle est susceptible de faire l'objet de mesures d'aménagement indépendantes -, elle ne fait alors pas partie du tissu déjà largement bâti. Tel est le cas des surfaces non bâties situées en périphérie de l'agglomération, ou des surfaces relativement vastes à l'intérieur de celle-ci et qui servent à diversifier et à introduire des ruptures dans le tissu bâti ou à créer des aires de loisir et de détente. De telles surfaces libres ne dépendent pas de l'état des constructions alentour, mais remplissent une fonction propre (<ref-ruling> consid. 4.2 p. 223-224; <ref-ruling> consid. 5a p. 424; <ref-ruling> consid. 2b p. 201; <ref-ruling> consid. 4d p. 451 et les arrêts cités; ENRICO RIVA, in: Aemisegger/Moor/Ruch/Tschannen, Commentaire pratique LAT, 2016, n° 203 ad art. 5; WALDMANN/HÄNNI, Raumplanungsgesetz, 2006, n. 21 ss ad art. 15 LAT; ZEN-RUFFINEN/ GUY-ECABERT, Aménagement du territoire, construction, expropriation, 2001, p. 145 s.; FLÜCKIGER/GRODECKI, Commentaire LAT, 2009, n. 85 ss ad art. 15 LAT).
2.4. Se référant sans plus de développements à son premier arrêt, la cour cantonale a considéré que la parcelle devait être considérée comme pour l'essentiel bâtie: elle comportait des bâtiments sur 1'117 m2 (vestiaires, buvette, temple) mais également trois terrains de sport. Il avait été constaté sur place la présence d'un terrain d'athlétisme et d'un terrain de football comportant un revêtement ou du gazon synthétiques, construits sur diverses couches de fondation pouvant mesurer jusqu'à un mètre de profondeur; il s'agissait de constructions soumises à autorisation au sens du droit cantonal. La parcelle comportait en outre quelques gradins. La Ville de Vevey relève pour sa part que les terrains en question sont constitués de diverses couches comprenant des systèmes de drainage, de la même manière qu'une infrastructure routière. Il s'agirait d'installations sportives et non d'une zone de verdure et de détente, moins encore d'un parc arborisé, au surplus situé en pleine agglomération veveysanne. Le fait que le secteur soit classé en zone de verdure de détente et de loisir, selon le plan directeur communal de 1997 (lequel est d'ailleurs en cours de révision et prévoit à cet endroit la création d'un collège), ne serait pas pertinent, seule l'étant la situation concrète: la présence de 42 arbres dont le tronc ne dépasserait pas 10 cm ne suffirait pas à en faire un parc arborisé. La partie de la parcelle où serait construit le collège ("Copet 3") comporte une piste d'athlétisme avec des installations de saut en hauteur et en longueur, soit des aménagements durables. Quant à la DGE, répondant aux déterminations de l'OFEV sur le caractère "densément bâti" de la zone au sens de l'OEaux, elle relève que les équipements sportifs du secteur ont été rénovés en 2017 pour près de 1,5 million de francs, les travaux consistant dans la mise en place de réseaux enterrés, chaussées, revêtements, pavage ainsi que d'une couche de fondation. Le 70% de la parcelle serait ainsi couvert par des bâtiments ou équipements sportifs et il ne pourrait s'agir d'espace vert. Le secteur se trouverait en deçà de la rue du Devin qui marque la limite de la zone densément bâtie dans le "delta" de la Veveyse.
2.5. La parcelle n° 1'173 est située à 150 m en aval de la rue du Devin et du pont qui enjambe la Veveyse marquant, avec le viaduc de Gilamont, la limite du territoire urbanisé qui s'étend jusqu'aux tours de Gilamont. La parcelle est limitée à l'ouest par l'avenue des Crosets, elle-même bordée par plusieurs immeubles, dont certains de grande taille, d'une densité toutefois moindre qu'au centre-ville. Au-delà de la Veveyse, côté est, se trouve également un ensemble construit le long de l'avenue de Gilamont. La question de savoir si les abords de la parcelle peuvent être qualifiés de "largement bâtis" peut toutefois demeurer indécise. En effet, la parcelle n° 1'173, est d'une surface trop importante (3 ha) pour admettre l'existence d'une brèche dans le milieu bâti (<ref-ruling> consid. 4.2 p. 224). En outre, d'un point de vue qualitatif, elle est constituée pour l'essentiel de terrains de sport sans aucun bâtiment comparable à ceux qui se trouvent dans le voisinage, ni aucune construction marquante, à l'exception du temple situé à son extrémité nord mais qui n'est pas touché par le projet. Les aménagements concernent les premières couches de terrain, ainsi que quelques structures de surface. Le périmètre constitue une rupture délibérée dans le milieu bâti. Destiné à la pratique sportive et ainsi aux loisirs et au délassement, l'ensemble joue un rôle propre dans le quartier. Cela est confirmé par son affectation, selon le plan directeur communal de 1997, comme secteur de verdure, de détente et de loisirs.
Dès lors, d'un point de vue tant quantitatif que qualitatif, le périmètre ne saurait être considéré comme faisant partie intégrante du territoire largement bâti au sens de l'art. 36 al. 3 LAT. L'attribution d'une surface aussi importante à la zone à bâtir doit être décidée par le biais d'un plan d'affectation ordinaire permettant une participation démocratique (arrêt 1C_361/2011 du 28 juin 2012 consid. 5.2.2).
3.
Les considérations qui précèdent conduisent à l'admission du recours, à l'annulation de l'arrêt attaqué et de l'autorisation de construire du 5 décembre 2017, sans qu'il y ait à se prononcer sur l'application de l'<ref-law> et sur les mesures de protection contre les crues. Conformément à l'<ref-law>, une indemnité de dépens est allouée aux recourants, à la charge de la Ville de Vevey puisque celle-ci agit en tant que propriétaire. Pour cette même raison, les frais judiciaires sont également mis à la charge de la Ville de Vevey.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis; l'arrêt attaqué est annulé, de même que l'autorisation de construire du 5 décembre 2017.
2.
Une indemnité de dépens de 4'000 fr. est allouée aux recourants, à la charge de la Ville de Vevey.
3.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge de la Ville de Vevey.
4.
Le présent arrêt est communiqué aux mandataires des recourants et de la Municipalité de Vevey, à la Direction générale de l'environnement du canton de Vaud (DGE-DIREV), à la Direction générale de l'environnement du canton de Vaud (DGE-DIRNA), à l'Etablissement d'assurance contre l'incendie et les éléments naturels du canton de Vaud (ECA), au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, à l'Office fédéral du développement territorial et à l'Office fédéral de l'environnement.
Lausanne, le 30 octobre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Kurz