Faits :
A.
A._ est propriétaire des parcelles 850, 851 et 852 de la commune de Romont, sises en zone résidentielle à faible densité selon le plan d'aménagement local. Le 8 septembre 2011, il a déposé une demande de permis de construire les infrastructures prévues par le plan d'équipement de détail, dans le but de mettre en valeur ses parcelles qui se situent dans un bas-fond régulièrement inondé par la montée de la nappe phréatique et par les crues du ruisseau voisin et où l'évacuation des eaux usées et eaux claires n'est pas possible sans pompage. Il a ainsi prévu de surélever son terrain en créant une plateforme impliquant un remblayage d'environ 1,5 m (environ 2,1 m à son point le plus prononcé) sur toute la surface, soit un volume de 9'000 m3. Afin d'éviter que le risque d'inondation des parcelles voisines, déjà menacées, soit aggravé par l'installation nouvelle (tassement lié au remblai diminuant la capacité de drainage du sol), il est prévu que des tranchées drainantes remplies de galets soient aménagées en périphérie de l'ouvrage de manière à permettre l'évacuation des eaux de surface et éviter une remontée de la nappe phréatique.
Le projet a suscité de nombreuses oppositions de voisins, dont celles de B._, D._, B.C._ et A.C._, B.E._ et A.E._ ainsi que F._. Ceux-ci ont tous invoqué les risques accrus d'inondation pour leur propre terrain.
B.
Par décision du 24 juillet 2013, le Préfet du district de la Sarine (en remplacement du Préfet du district de la Glâne) a rejeté la demande d'autorisation de construire et admis les oppositions. Le requérant a recouru auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg qui, après inspection des lieux, a confirmé la décision attaquée par arrêt du 6 novembre 2014. Dans la décision de première instance, le préfet rejetait la demande d'autorisation de construire sur la base de dispositions légales portant sur l'harmonisation des constructions avec leur environnement, seules des modifications de terrain mineures pouvant être autorisées. La carte des dangers pour le secteur en question n'ayant pas encore été établie par les autorités cantonales, la décision laissait indécise la question de savoir si le projet était admissible au regard des dispositions légales relatives à la protection contre les crues. Dans l'intervalle, la carte cantonale des dangers liés aux crues dans le secteur avait été validée par la Section lacs et cours d'eaux (SECA) du Service cantonal des ponts et chaussées le 24 septembre 2014. La cour cantonale ne s'est ainsi pas prononcée sur les dispositions relatives aux mouvements de terrain et à l'harmonisation des constructions, mais a rejeté le recours pour des considérations relatives à la protection contre les crues. Elle a considéré que l'art. 121 al. 1 de la loi fribourgeoise du 2 décembre 2008 sur l'aménagement du territoire et les constructions (LATeC; RS FR 710.1), prévoyant qu'aucune construction ou installation ne peut être édifiée sur un terrain exposé à un danger élevé, à moins qu'elle ne soit imposée par sa destination et ne réponde à un intérêt public prépondérant, ne laissait pas place à une exception à l'interdiction de construire.
C.
Agissant en un seul acte par la voie du recours en matière de droit public et du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral de réformer l'arrêt rendu par le Tribunal cantonal en ce sens que le permis de construire portant sur les infrastructures est octroyé. Subsidiairement, le recourant conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal. La cour cantonale et le préfet concluent au rejet des recours. La commune renonce à se déterminer. Les intimés B._ et C._ concluent au rejet des recours. Consulté, l'Office fédéral de l'environnement (OFEV) considère que l'arrêt attaqué est compatible avec le droit fédéral et que la solution retenue n'est pas disproportionnée. Au cours d'un deuxième échange d'écritures, les parties et les autorités concernées maintiennent leurs conclusions. Les parties produisent plusieurs pièces et le recourant demande qu'il soit procédé à une vision locale.
Considérant en droit :
1.
Le recours est formé contre un arrêt final rendu en dernière instance cantonale, dans une cause de droit public. Il est recevable au regard des art. 82 let. a, 86 al. 1 let. d et 90 LTF. Le recourant, propriétaire de la parcelle litigieuse, est particulièrement touché par l'arrêt attaqué et a un intérêt digne de protection à son annulation ou sa modification. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière.
Le recours en matière de droit public étant recevable, le recours constitutionnel subsidiaire est irrecevable.
2.
Le recourant fait valoir une violation de son droit d'être entendu au motif que la cour cantonale n'a pas donné suite à une requête tendant à ce que la SECA dépose des déterminations circonstanciées sur le projet litigieux en plus des considérations générales émises en relation avec la carte des dangers liés aux crues.
2.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (ATF 140 I 285 consid. 6.3.1 p. 299; 139 II 489 consid. 3.3 p. 496; 137 IV 33 consid. 9.2 p. 48 et les références). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 140 I 285 consid. 6.3.1 p. 299; 138 III 374 consid. 4.3.2 p. 376; 136 I 229 consid. 5.3 p. 236).
2.2. Le projet litigieux est particulier en ce sens qu'il ne concerne pas directement une construction prévue par l'affectation de la zone, mais un ouvrage destiné à sécuriser le terrain contre les risques de crues. Le recourant prétend que son projet permet de protéger la parcelle contre les crues de manière à la faire changer de statut au sens de la carte des risques. Il a par conséquent requis des premiers juges qu'ils examinent - par le biais d'une consultation du service cantonal compétent - le bien-fondé technique de l'aménagement proposé. Il se prévaut par ailleurs du principe de proportionnalité pour faire valoir qu'à supposer que l'art. 121 LATeC soit applicable à son cas, l'aménagement litigieux devrait justifier une exception à l'interdiction de construire, puisqu'il est précisément destiné à diminuer le danger de crues sur le terrain.
Dans sa prise de position du 24 septembre 2014, la SECA ne se prononce effectivement pas sur la pertinence technique du projet. Cet avis ne fait qu'exposer l'appartenance de la parcelle à la zone de danger élevé et se référer au plan directeur cantonal qui ne permettrait aucune construction dans de telles circonstances. La SECA précise encore que ce terrain devrait être déclassé de la zone à bâtir, cette mise en zone étant "déjà ancienne et malencontreuse". Dans le même sens, la cour cantonale a estimé que, dès lors que l'art. 121 LATeC proscrivait toute construction sur la parcelle classée en zone de danger élevé, il n'y avait pas lieu d'examiner si la solution technique prévue était efficace. Ce faisant, les premiers juges ont implicitement considéré que le refus de délivrer tout permis de construire était proportionné, exposant que le recourant ne s'était pas préoccupé des suites à long terme de son projet sous l'angle de l'entretien et des coûts, notamment des drainages périphériques. Or, ainsi qu'on le verra ci-dessous, vu la grave atteinte au droit de propriété du recourant, il se justifiait de procéder à un examen détaillé de la proportionnalité du refus des aménagements prévus. A cet égard, une analyse de la pertinence technique du projet et son évaluation par rapport aux impératifs dictés par les différents intérêts publics en jeu s'imposaient.
En refusant de requérir un avis technique - et non juridique comme celui figurant au dossier - de la SECA sur ce projet, la cour cantonale a ainsi violé le droit d'être entendu du recourant.
3.
Le recourant entend faire corriger et compléter plusieurs éléments de fait de l'arrêt attaqué. Il se plaint en particulier de l'absence de prise en considération des explications de l'étude réalisée par le bureau d'ingénieurs qu'il a mandaté pour la planification de son projet. Ces explications sont précisément celles sur lesquelles il convenait que l'autorité cantonale se détermine. En l'état, le Tribunal fédéral ne saurait se prononcer sur leur pertinence.
4.
A titre principal, le recourant se plaint d'une violation de la garantie de la propriété.
La garantie de la propriété ancrée à l'art. 26 al. 1 Cst. n'est pas absolue. Comme tout droit fondamental, elle peut être restreinte aux conditions fixées à l'art. 36 Cst. La restriction doit ainsi reposer sur une base légale (consid. 5), être justifiée par un intérêt public (consid. 6) et respecter le principe de la proportionnalité (consid. 7).
Le pouvoir d'examen du Tribunal fédéral dans le contrôle de la restriction au droit de propriété dépend de la gravité de la mesure. Si la restriction est grave, le Tribunal fédéral en examine librement la légalité (ATF 124 I 6 consid. 4b/aa p. 8; ATF 121 I 117 consid. 3b/bb p. 120/121; ATF 119 Ia 88 consid. 5c/bb p. 96, 362 consid. 3a p. 366, et les arrêts cités), la pesée des intérêts qu'elle implique et le respect du principe de la proportionnalité (ATF 126 I 219 consid. 2c p. 222121 I 117 consid. 3b/bb et c p. 120/121; ATF 119 Ia 362 consid. 3a p. 366). Une restriction grave au droit de propriété a également pour conséquence qu'elle doit être prévue par une loi au sens formel (ATF 135 I 233 consid. 2.1 p. 241). L'atteinte au droit de propriété est tenue pour particulièrement grave lorsque la propriété foncière est enlevée de force ou lorsque des interdictions ou des prescriptions positives rendent impossible ou beaucoup plus difficile une utilisation du sol actuelle ou future conforme à sa destination (ATF 135 III 633 consid. 4.3. p. 637; 131 I 333 consid. 4.2 p. 340).
En l'espèce, la restriction consiste à rendre inconstructible la quasi-totalité des surfaces concernées, pourtant affectées en zone à bâtir, cette affectation ayant encore été confirmée lors d'une révision du plan en 2010. Elle est par conséquent grave.
5.
Selon le recourant, le refus de délivrer l'autorisation de construire serait dénué de base légale, l'art. 121 al. 1 LATeC n'excluant pas la mesure envisagée, et le droit fédéral n'imposant pas de prendre uniquement des mesures de prévention passives contre les crues.
5.1. Selon l'art. 2 de la loi fédérale du 21 juin 1991 sur l'aménagement des cours d'eau (LACE; RS 721.100), la protection contre les crues incombe aux cantons. L'art. 3 LACE charge les cantons d'assurer la protection contre les crues en priorité par des mesures d'entretien et de planification (al. 1). Si cela ne suffit pas, ils prennent les autres mesures qui s'imposent telles que corrections, endiguements, réalisation de dépotoirs à alluvions et de bassins de rétention des crues ainsi que toutes les autres mesures propres à empêcher les mouvements de terrain (al. 2). L'art. 4 al. 2 LACE précise que, lors d'interventions dans les eaux, leur tracé naturel doit être autant que possible respecté ou, à défaut, reconstitué; les eaux et l'espace réservé aux eaux doivent être aménagés de façon à ce qu'ils puissent accueillir une faune et une flore diversifiée (let. a), que les interactions entre eaux superficielles et eaux souterraines soient maintenues autant que possible (let. b) et qu'une végétation adaptée à la station puisse croître sur les rives (let. c). L'art. 3 LACE donne ainsi la priorité aux mesures d'entretien et de planification, les autres mesures ne devant être prises que si les premières ne suffisent pas. La jurisprudence considère ainsi que les mesures de protection actives n'ont leur raison d'être que lorsque l'entretien normal rationnel d'installations de protection existantes et les efforts d'aménagement du territoire ne permettent pas d'atteindre les buts fixés (ATF 140 I 168 consid. 4.2.1 p. 174; arrêts 1C_741/2013 du 16 juillet 2014 consid. 3; 1C_51/2011 du 11 janvier 2012 consid. 2.1). Lors du choix des mesures à prendre, les objectifs de protection des eaux doivent être pris en considération (ATF 140 I 168 consid. 4.2.2 p. 174; arrêts 1C_741/2013 du 16 juillet 2014 consid. 3).
L'art. 121 LATeC prescrit qu'aucune construction ou installation ne peut être édifiée sur un terrain exposé à un danger élevé, à moins qu'elle ne soit imposée par sa destination et ne réponde à un intérêt public prépondérant (al. 1). Dans les secteurs de danger moyen, un permis de construire ne peut être délivré que si la sécurité des personnes, des animaux et des biens matériels peut être garantie, notamment par des mesures de protection et de sécurité (al. 2).
5.2. Le terrain litigieux a été classé en zone de danger élevé. Littéralement, l'art. 121 al. 1 LATeC ne laisse place à la construction que pour autant que celle-ci soit imposée par sa destination et qu'elle réponde à un intérêt public prépondérant. En l'espèce, l'ouvrage est destiné à protéger le terrain en question contre les crues, soit, en d'autres termes, à satisfaire principalement l'intérêt privé du propriétaire à pouvoir valoriser son terrain. Le recourant fait valoir pour intérêt public l'intérêt général à l'utilisation d'un terrain affecté en zone à bâtir. Or, au regard des buts de la LAT en matière d'urbanisme (développement de l'urbanisation vers l'intérieur du milieu bâti, création d'un milieu bâti compact notamment, cf. art. 1 al. 2 let. a biset b LAT), il échoue à démontrer que tel est le cas pour une parcelle affectée en zone résidentielle à faible densité, située à la limite de la zone agricole et en bordure d'un hameau isolé du centre communal. Selon une lecture littérale de la disposition, l'art. 121 al. 1 LATeC apparaît ainsi déjà constituer une base légale suffisante à la restriction de la propriété. Tant la cour cantonale que le recourant se réfèrent toutefois aux indications du plan directeur pour confirmer, respectivement infirmer, le sens de cette disposition.
S'agissant de la protection contre les crues, le plan directeur fribourgeois reprend dans ses principes l'ordre de priorité des mesures imposé par le droit fédéral (mesures passives, c'est-à-dire de planification, mesures actives et en dernier lieu seulement des mesures d'urgence; Texte du Plan directeur fribourgeois, chapitre Espace rural et naturel - thème 19: Dangers naturels, crues). Le rapport explicatif du Plan directeur précise que la zone de danger élevé correspond essentiellement à une zone d'interdiction ne se prêtant ni à l'habitat, ni à l'implantation d'infrastructures ou d'installations, les exigences minimales d'aptitude à la construction découlant de l'art. 15 LAT n'étant pas remplies. Pour les zones largement construites, en fonction de la nature du danger, un périmètre spécial permettant le maintien de l'existant peut être créé, pour autant que toutes les mesures d'urgence permettant de réduire le risque aient été prises. Certains travaux et constructions clairement délimités peuvent être admis en dérogation au principe général de construire. Toutefois, le rapport indique ensuite que toute construction dans les secteurs qui nécessiteraient la réalisation d'ouvrages de protection est interdite (rapport explicatif, p. 8).
Contrairement à ce qu'affirme le recourant, il ne découle pas de ces indications qu'au principe de l'interdiction de construire doit correspondre une exception souple pour les secteurs classés en zone à bâtir. Les exceptions sont expressément prévues pour les "zones largement construites", ce qui n'est pas le cas du terrain du recourant. Ainsi, la règle générale comprend-elle l'idée d'éviter de construire les terrains non bâtis situés en zones de danger élevé, en dépit des éventuelles mesures de protection actives qui pourraient diminuer les dangers.
Le droit fédéral n'impose pas plus de souplesse dans l'admission d'exceptions. En effet, la LACE prescrit de tenir compte de la dynamique et de l'environnement naturels des cours d'eau. Or, des aménagements de protection contre les crues - comme en l'occurrence le remblai et le système de pompage prévus par le recourant - nuisent à l'écoulement naturel du cours d'eau. En bref, tant le droit fédéral, en particulier la LACE, que le droit cantonal donnent une base légale suffisante pour justifier un refus de construire en vertu de la protection contre les crues.
6.
Le recourant fait valoir l'absence d'intérêt public public justifiant le refus de l'autorisation de construire, au motif que son projet n'aggraverait pas la situation des terrains avoisinants et qu'il diminuerait le risque pour son propre terrain en le faisant passer en zone de danger faible. Or, à supposer que tel soit le cas, il existerait quoi qu'il en soit un intérêt important à la limitation des mouvements de terre aux abords des cours d'eau, intérêt qui se déduit directement des dispositions et principes examinés ci-dessus privilégiant les mesures de protection passives contre les crues. Cela étant, la cour cantonale a souligné l'absence de garanties par rapport aux coûts et à l'entretien à long terme du projet, ce que le recourant ne discute pas. Tout au plus suggère-t-il l'inscription d'une charge dans le permis de construire ou d'une servitude au registre foncier, ce qui, dans certains cas, notamment en cas de problèmes financiers du propriétaire, ne constitue pas une garantie absolue. De ce point de vue, le projet se heurte effectivement à l'intérêt public à la protection contre les crues. En outre, comme cela a déjà été relevé, l'intérêt public à la construction de la parcelle litigieuse est moindre. Seul l'intérêt privé du propriétaire s'oppose véritablement au refus du permis de construire. Dans le cadre de la retenue que s'impose le Tribunal fédéral dans l'appréciation des circonstances locales, il n'apparaît pas que le choix de la cour cantonale de donner plus de poids aux intérêts publics précités soit critiquable.
7.
Le recourant se plaint enfin du non-respect du principe de la proportionnalité.
7.1. Le principe de la proportionnalité exige que les mesures mises en oeuvre soient propres à atteindre le but visé (règle de l'aptitude) et que celui-ci ne puisse être atteint par une mesure moins contraignante (règle de la nécessité); il doit en outre y avoir un rapport raisonnable entre ce but et les intérêts compromis (principe de la proportionnalité au sens étroit, impliquant une pesée des intérêts) (ATF 140 I 168 consid. 4.2.1 p. 173; 135 I 233 consid. 3.1 p. 246).
7.2. Le refus d'accorder le permis de construire relève de la politique de protection contre les crues. L'aménagement d'un remblai et d'une pompe sont le préalable à des constructions destinées à l'habitation sur la parcelle litigieuse. Comme l'affirme le recourant, refuser ces aménagements revient à empêcher les constructions futures d'y être érigées. Dans ses griefs, le recourant ignore toutefois les différents points relevés ci-dessus, à savoir l'intérêt public de la mesure en raison de l'absence de garantie d'entretien sur le long terme, ainsi que l'intérêt à la préservation d'une dynamique et d'un environnement naturels pour le cours d'eau. Ces éléments pris en considération, la mesure se révèle à tout le moins être adéquate, car refuser l'autorisation de construire les aménagements de protection contre les crues dispense des questions d'une garantie à long terme de l'entretien de l'ouvrage - et donc d'un risque accru pour les habitations de la parcelle et alentour.
Il est en revanche plus délicat d'évaluer la nécessité de la mesure, à savoir du refus pur et simple de l'autorisation de construire. En effet, le projet n'a pas fait l'objet d'un examen de fond par les instances précédentes. Le recourant justifie son projet par le fait qu'il constituerait une protection fiable contre les crues sans que le risque soit reporté sur d'autres parcelles. A le suivre, autoriser son projet moyennant garanties financières d'un entretien sur le long terme serait une alternative sûre du point de vue de la protection contre les crues. S'il est a priori douteux que les aménagements prévus sur une seule parcelle soient à même de ramener à un degré de danger faible le risque de crue, sans que cela n'ait d'incidence sur les parcelles alentour - en particulier en amont -, aucun élément du dossier ne permet pourtant de confirmer ces doutes. On ne saurait mettre cette lacune sur le compte du recourant: celui-ci a en effet produit des études dont le bien-fondé n'a pas été examiné. En l'état, viole le principe de la proportionnalité un refus basé uniquement sur des motifs de protection contre les crues alors qu'aucun examen de la fiabilité du projet - précisément destiné à lutter conte les crues - n'a eu lieu.
Par ailleurs, comme le relève l'OFEV, le dossier ne contient aucun examen des aspects relatifs à la protection des eaux et du cours d'eau. L'office mentionne en vrac le manque d'informations relatives notamment aux écoulements sous tuyaux, aux eaux souterraines, à la stabilité du bien-fonds, aux espaces cours d'eau en cause. Ces éléments doivent être pris en considération dans l'évaluation du projet, en particulier eu égard à l'intérêt public, relevé ci-avant, au maintien d'un environnement et d'une dynamique naturels du cours d'eau en cause.
En définitive, un examen de la nécessité de la mesure et de sa proportionnalité au sens étroit se révèle en l'état impossible pour le Tribunal fédéral. Il appartient à la cour cantonale de s'y livrer en consultant les autorités spécialisées.
8.
Il résulte de ce qui précède que le recours en matière de droit public doit être admis, et l'arrêt attaqué annulé, sans qu'il soit nécessaire d'examiner le grief d'arbitraire dans l'application du droit cantonal et communal soulevé par le recourant. Les intimés, qui succombent, supporteront les frais de la présente procédure (art. 66 al. 1 LTF) dans une proportion réduite pour ceux d'entre eux qui n'ont pas procédé. Ils verseront dans les mêmes proportions des dépens au recourant, qui a agi avec l'aide d'un avocat (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est admis. L'arrêt attaqué est annulé et la cause renvoyée à la II e Cour administrative du Tribunal cantonal du canton de Fribourg pour nouvelle décision.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis par 2'000 fr. à la charge des intimés B._, A.C._ et B.C._, solidairement entre eux, et par 1'000 fr. à la charge des intimés A.E._ et B.E._, D._ et F._, solidairement entre eux.
4.
Une indemnité de dépens de 3'000 fr. est accordée au recourant, par 2'000 fr. à la charge des intimés B._, A.C._ et B.C._, solidairement entre eux, et par 1'000 fr. à la charge des intimés D._, A.E._ et B.E._, D._ et F._, solidairement entre eux.
5.
Le présent arrêt est communiqué aux parties, à la Commune de Romont, à la Préfecture du district de la Sarine, au Tribunal cantonal de l'Etat de Fribourg, II e Cour administrative, et à l'Office fédéral de l'environnement.
Lausanne, le 3 septembre 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali