Faits : A. B.A._ et A.A._ sont copropriétaires de la parcelle n° 409 de la Commune de Préverenges, affectée en zone intermédiaire (non constructible). D'une surface de 19'111 m2, ce bien-fonds supporte différentes constructions des années soixante (habitation, garage, hangar, etc.), dont la surface bâtie totale occupe 810 m2, le solde étant en nature de place-jardin et de forêt. Cette parcelle est par ailleurs en grande partie située dans un périmètre inconstructible du Plan cantonal de protection de la Venoge. B. Le 18 juin 2009, à la demande des propriétaires, le Service vaudois des forêts, de la faune et de la nature (SFFN; intégré désormais à la Direction générale de l'environnement, DGE) a rendu une décision de constatation de nature forestière de la parcelle n° 409. Selon le plan établi dans le cadre de cette procédure par un géomètre officiel, la parcelle comporte quatre secteurs soumis au régime forestier. La décision relève, s'agissant en particulier du secteur 4, dont la surface est très nettement supérieure à 800 m2, qu'il ne reste que très peu d'espèces ligneuses et que le secteur a, depuis de nombreuses années, été traité comme un parc, ce qui a engendré une modification de la végétation, son aspect actuel résultant de travaux d'entretien importants. Saisie d'un recours des époux A._ contre cette décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a procédé à une inspection des lieux et constaté que le secteur 4 ne contient qu'une dizaine d'arbres d'essence forestière. A cette occasion, le SFFN a indiqué qu'une grosse coupe de bois avait été autorisée en 2007 sur environ 150 arbres. Par arrêt du 25 février 2014, le Tribunal cantonal a rejeté le recours, considérant en substance que la disparition du peuplement forestier résultait d'un entretien trop intensif depuis 1986 et du déboisement de 2007, certes autorisé, mais non soumis à la procédure d'autorisation de défrichement, si bien que la nature forestière du secteur 4 devait être confirmée. C. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral de réformer l'arrêt cantonal et la décision du 18 juin 2009 en ce sens que seuls les secteurs 1 à 3 de la parcelle n° 409 de la Commune de Préverenges sont soumis au régime forestier, à "l'exclusion des secteurs 3 à 6". Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à la Cour de droit administratif et public pour nouvelle décision dans le sens des considérants. La cour cantonale renonce à déposer des observations et se réfère aux considérants de son arrêt. La commune déclare s'en remettre à justice. La DGE se détermine hors du délai qui lui avait été imparti. L'Office fédéral de l'environnement, qui a effectué une visite des lieux, confirme la nature forestière du secteur litigieux. Les recourants se déterminent sur ces prises de position et maintiennent leurs conclusions. La commune se détermine encore brièvement et confirme s'en remettre à justice.