Faits : A. A._ est propriétaire des parcelles 850, 851 et 852 de la commune de Romont, sises en zone résidentielle à faible densité selon le plan d'aménagement local. Le 8 septembre 2011, il a déposé une demande de permis de construire les infrastructures prévues par le plan d'équipement de détail, dans le but de mettre en valeur ses parcelles qui se situent dans un bas-fond régulièrement inondé par la montée de la nappe phréatique et par les crues du ruisseau voisin et où l'évacuation des eaux usées et eaux claires n'est pas possible sans pompage. Il a ainsi prévu de surélever son terrain en créant une plateforme impliquant un remblayage d'environ 1,5 m (environ 2,1 m à son point le plus prononcé) sur toute la surface, soit un volume de 9'000 m3. Afin d'éviter que le risque d'inondation des parcelles voisines, déjà menacées, soit aggravé par l'installation nouvelle (tassement lié au remblai diminuant la capacité de drainage du sol), il est prévu que des tranchées drainantes remplies de galets soient aménagées en périphérie de l'ouvrage de manière à permettre l'évacuation des eaux de surface et éviter une remontée de la nappe phréatique. Le projet a suscité de nombreuses oppositions de voisins, dont celles de B._, D._, B.C._ et A.C._, B.E._ et A.E._ ainsi que F._. Ceux-ci ont tous invoqué les risques accrus d'inondation pour leur propre terrain. B. Par décision du 24 juillet 2013, le Préfet du district de la Sarine (en remplacement du Préfet du district de la Glâne) a rejeté la demande d'autorisation de construire et admis les oppositions. Le requérant a recouru auprès de la IIe Cour administrative du Tribunal cantonal du canton de Fribourg qui, après inspection des lieux, a confirmé la décision attaquée par arrêt du 6 novembre 2014. Dans la décision de première instance, le préfet rejetait la demande d'autorisation de construire sur la base de dispositions légales portant sur l'harmonisation des constructions avec leur environnement, seules des modifications de terrain mineures pouvant être autorisées. La carte des dangers pour le secteur en question n'ayant pas encore été établie par les autorités cantonales, la décision laissait indécise la question de savoir si le projet était admissible au regard des dispositions légales relatives à la protection contre les crues. Dans l'intervalle, la carte cantonale des dangers liés aux crues dans le secteur avait été validée par la Section lacs et cours d'eaux (SECA) du Service cantonal des ponts et chaussées le 24 septembre 2014. La cour cantonale ne s'est ainsi pas prononcée sur les dispositions relatives aux mouvements de terrain et à l'harmonisation des constructions, mais a rejeté le recours pour des considérations relatives à la protection contre les crues. Elle a considéré que l'art. 121 al. 1 de la loi fribourgeoise du 2 décembre 2008 sur l'aménagement du territoire et les constructions (LATeC; RS FR 710.1), prévoyant qu'aucune construction ou installation ne peut être édifiée sur un terrain exposé à un danger élevé, à moins qu'elle ne soit imposée par sa destination et ne réponde à un intérêt public prépondérant, ne laissait pas place à une exception à l'interdiction de construire. C.