Faits : A. Par avis du 3 janvier 2014, la commune de Port-Valais a mis à l'enquête publique un projet de revitalisation du cours d'eau la Benna. Les travaux projetés consistent en un décapage de la couche de terre végétale sur une épaisseur de 30 cm, en un élargissement du fossé dans la zone de battement de la nappe phréatique, en un creusement de points d'eau permanents couvrant une surface d'environ 1'100 m2et en un cheminement futur destiné au public. Ces aménagements concernent les biens-fonds communaux nos 727 et 2207. Au total, 26'811 m2 de surface sont touchés par ces travaux, dont 18'920 m2 répertoriés comme surfaces d'assolement (SDA). Le rapport technique établi par un bureau d'études biologiques mandaté à cet effet précise que la commune de Port-Valais a défini les SDA de remplacement requises et que 19'587 m2 sont d'ores et déjà réservés à cette fin. B. Le 17 février 2016, le Conseil d'Etat valaisan a approuvé ce projet et rejeté les oppositions formées notamment par A._ et B._. Statuant le 26 janvier 2017 sur recours des opposants précités, le Tribunal cantonal valaisan a confirmé l'approbation du projet, jugeant notamment que le traitement réservé à la problématique des surfaces d'assolement n'était pas critiquable. C. Agissant par la voie du recours en matière public, A._ et B._ demandent au Tribunal fédéral de réformer l'arrêt cantonal en ce sens que le recours est admis et que la décision communale est annulée. Subsidiairement, ils demandent le renvoi de la cause à l'autorité inférieure pour nouvelle décision dans le sens des considérants. La cour cantonale renonce à se déterminer. La section juridique du Département cantonal concerné conclut au rejet du recours. La commune de Port-Valais se réfère à ses déterminations envoyées au Tribunal cantonal. L'Office fédéral de l'agriculture (OFAG), l'Office fédéral du développement territorial (ARE) et l'Office fédéral de l'environnement (OFEV) ont été consultés. Les parties et autorités concernées se sont déterminées dans un nouvel échange d'écritures et ont maintenu leurs conclusions.