Faits :
A.
B.A._ et A.A._ sont copropriétaires de la parcelle n° 409 de la Commune de Préverenges, affectée en zone intermédiaire (non constructible). D'une surface de 19'111 m2, ce bien-fonds supporte différentes constructions des années soixante (habitation, garage, hangar, etc.), dont la surface bâtie totale occupe 810 m2, le solde étant en nature de place-jardin et de forêt. Cette parcelle est par ailleurs en grande partie située dans un périmètre inconstructible du Plan cantonal de protection de la Venoge.
B.
Le 18 juin 2009, à la demande des propriétaires, le Service vaudois des forêts, de la faune et de la nature (SFFN; intégré désormais à la Direction générale de l'environnement, DGE) a rendu une décision de constatation de nature forestière de la parcelle n° 409. Selon le plan établi dans le cadre de cette procédure par un géomètre officiel, la parcelle comporte quatre secteurs soumis au régime forestier. La décision relève, s'agissant en particulier du secteur 4, dont la surface est très nettement supérieure à 800 m2, qu'il ne reste que très peu d'espèces ligneuses et que le secteur a, depuis de nombreuses années, été traité comme un parc, ce qui a engendré une modification de la végétation, son aspect actuel résultant de travaux d'entretien importants.
Saisie d'un recours des époux A._ contre cette décision, la Cour de droit administratif et public du Tribunal cantonal vaudois a procédé à une inspection des lieux et constaté que le secteur 4 ne contient qu'une dizaine d'arbres d'essence forestière. A cette occasion, le SFFN a indiqué qu'une grosse coupe de bois avait été autorisée en 2007 sur environ 150 arbres. Par arrêt du 25 février 2014, le Tribunal cantonal a rejeté le recours, considérant en substance que la disparition du peuplement forestier résultait d'un entretien trop intensif depuis 1986 et du déboisement de 2007, certes autorisé, mais non soumis à la procédure d'autorisation de défrichement, si bien que la nature forestière du secteur 4 devait être confirmée.
C.
Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral de réformer l'arrêt cantonal et la décision du 18 juin 2009 en ce sens que seuls les secteurs 1 à 3 de la parcelle n° 409 de la Commune de Préverenges sont soumis au régime forestier, à "l'exclusion des secteurs 3 à 6". Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause à la Cour de droit administratif et public pour nouvelle décision dans le sens des considérants. La cour cantonale renonce à déposer des observations et se réfère aux considérants de son arrêt. La commune déclare s'en remettre à justice. La DGE se détermine hors du délai qui lui avait été imparti. L'Office fédéral de l'environnement, qui a effectué une visite des lieux, confirme la nature forestière du secteur litigieux. Les recourants se déterminent sur ces prises de position et maintiennent leurs conclusions. La commune se détermine encore brièvement et confirme s'en remettre à justice.

Considérant en droit :
1.
Dirigé contre une décision de constatation de la nature forestière au sens de l'art. 10 de la loi fédérale du 4 octobre 1991 sur les forêts (LFo; RS 921.0), le recours est recevable comme recours en matière de droit public (art. 82 let. a LTF), aucune des exceptions prévues à l'art. 83 LTF n'étant réalisée. Les recourants ont pris part à la procédure devant le Tribunal cantonal. En tant que propriétaires du terrain concerné, ils peuvent se prévaloir d'un intérêt personnel et digne de protection à l'annulation ou à la modification de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'art. 89 al. 1 LTF. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2.
Les conclusions des recourants relatives au secteur 3 de leur parcelle sont contradictoires en ce sens qu'ils demandent son exclusion du champ d'application du régime forestier et, à la fois, la constatation de sa nature forestière. Il s'agit manifestement d'une erreur de plume. Dans la mesure où l'argumentation du recours est entièrement dirigée contre la constatation de la nature forestière du secteur 4 et dès lors que l'arrêt cantonal précise que les recourants avaient renoncé à contester la nature forestière du secteur 3, il y a lieu de considérer que seul le secteur 4 fait l'objet de la procédure devant le Tribunal fédéral.
3.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 LTF, il ne peut s'en écarter que si les constatations de ladite autorité ont été établies en violation du droit au sens de l'art. 95 LTF ou de façon manifestement inexacte (art. 105 al. 2 LTF), c'est-à-dire arbitraire (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 2.4 p. 314) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 3 p. 104 et les arrêts cités).
En l'espèce, les recourants, tant dans une partie "fait" de leur mémoire que dans leur argumentation, présentent leur propre version des faits, sans expliquer en quoi elle devrait être préférée à l'état de fait résultant de l'arrêt attaqué. Le Tribunal fédéral n'en tient par conséquent pas compte.
4.
Les recourants se plaignent d'une violation de leur droit d'être entendus au motif que les circonstances du déboisement de 2007 n'ont jamais fait l'objet de débats ni d'une administration des preuves. Ils déplorent à cet égard l'absence d'audition du garde-forestier chargé de ce déboisement.
4.1. Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend en particulier le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.3 p. 282; <ref-ruling> consid. 3.1 p. 370 et les références). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 4.3.2 p. 376; <ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157).
4.2. Le déboisement de 2007 n'était pas expressément mentionné dans la décision contestée du 18 juin 2009. Celle-ci justifiait toutefois le maintien du régime forestier pour le secteur 4 par le fait que son aspect actuel résultait "de travaux d'entretien importants", ce qui comprend la notion d'abattage d'arbres. La référence au déboisement de 2007 ressort ainsi implicitement de cette décision. Par ailleurs, le 16 septembre 2009, la commune évoquait dans ses premières observations sur le recours cantonal, "un abattage sévère de la presque totalité des essences" de ce secteur, effectué en automne 2007. Aussi, les recourants, s'ils souhaitaient s'exprimer, apporter des moyens de preuves ou demander qu'une instruction plus précise soit menée sur cette question, en ont-ils eu l'occasion dès le début de la procédure. Il ressort quoi qu'il en soit du dossier que le déboisement a été discuté lors de l'audience du 24 juin 2013. Il s'agit même de l'un des deux seuls éléments relatés dans le procès-verbal. Les recourants, qui ont disposé d'un délai pour se déterminer sur ce document, n'ont pas jugé utile de revenir sur les circonstances du déboisement ou les conséquences juridiques à en déduire. Ils ne précisent au demeurant pas ce que l'audition du garde-forestier qui a procédé à l'abattage aurait pu apporter dans l'appréciation de la cause. Il n'y a ainsi aucune violation de leur droit d'être entendus à cet égard.
5.
Selon les recourants, le secteur litigieux, peu dense et peuplé d'espèces non forestières, devrait être qualifié de parc, de sorte qu'il ne pourrait lui être conféré une nature forestière.
5.1. La LFo a pour but général la protection des forêts, notamment la conservation de l'aire forestière (art. 1 et 3 LFo). L'art. 2 LFo définit la notion de forêt. On entend par forêt toutes les surfaces couvertes d'arbres ou d'arbustes forestiers à même d'exercer des fonctions forestières (à savoir des fonctions protectrices, économiques ou sociales), sans égard à leur origine, à leur mode d'exploitation ou aux mentions figurant au registre foncier. L'art. 2 al. 2 LFo indique ce qui doit être assimilé aux forêts, alors que l'art. 2 al. 3 LFo exclut de cette notion notamment les groupes d'arbres ou d'arbustes isolés, les haies, les allées, les jardins, les parcs et les espaces verts. Dans le cadre posé par l'art. 1 al. 1 de l'ordonnance du 30 novembre 1992 sur les forêts (OFo; RS 921.01), l'art. 2 al. 1 de la loi forestière vaudoise du 19 juin 1996 (LVLFO; RSV 921.01) définit quantitativement comme forêts les surfaces boisées de 800 m2 et plus, les cordons boisés de douze mètres de largeur et plus, ainsi que les surfaces conquises par un peuplement fermé âgé de plus de vingt ans.
Ces critères quantitatifs servent à clarifier la notion qualitative de forêt posée par le droit fédéral. Sauf circonstances particulières, la nature forestière doit être reconnue lorsque les critères quantitatifs sont satisfaits, de sorte que ces derniers constituent des seuils minimaux. On ne peut nier la qualité de forêt du simple fait que ces seuils ne sont pas atteints (<ref-ruling> consid. 3 p. 447; arrêt 1A.13/2005 du 24 juin 2005 consid. 4.2). A l'inverse, dans certaines circonstances, l'existence d'une forêt peut être admise malgré l'absence de boisement (cf. Message du 29 juin 1988 concernant la LFo, FF 1988 III 174 ch. 21), en particulier lorsqu'il apparaît qu'un défrichement a eu lieu sans autorisation; le moment déterminant pour évaluer la nature du boisement n'est alors plus celui de la décision de première instance (<ref-ruling> consid. 4d p. 92; <ref-ruling> consid. 4 p. 342; arrêts 1C_431/2011 du 15 mars 2012 consid. 3.3; 1C_169/2009 du 14 octobre 2009 consid. 3.1).
La version en langue allemande de l'art. 2 al. 3 LFo recourt, pour les notions de jardins, parcs et espaces verts, au concept d' Anlage (" Garten-, Grün- und Parkanlagen "), qui peut se traduire de différentes manières en français (installations, aménagements, annexes ou équipement), mais implique dans tous les cas un lien avec les bâtiments ou infrastructures situés directement alentour (<ref-ruling> consid. 4b-4c p. 90-91).
5.2.
5.2.1. Il n'est pas contesté que la surface du boisement litigieux est largement supérieure au minimum prescrit par la législation. Elle est toutefois très peu densément arborisée. La décision du SFFN note qu'il ne reste que très peu d'espèces ligneuses, que la rangée de résineux a été supprimée et qu'il ne subsiste que quelques noyers et un chêne. D'après la cour cantonale, le secteur comprend une dizaine d'arbres d'essence forestière.
L'OFEV a pour sa part constaté que certaines essences du secteur 4 sont indigènes, d'autres exotiques. Les arbres abattus en 2007 ont fait l'objet d'un "dessouchage", de sorte qu'aucune trace de souche n'est plus observable actuellement. Le secteur est caractérisé par la présence de deux vieux chênes pédonculés, dont le diamètre est supérieur à 50 cm, vestiges du peuplement forestier d'origine. Une vingtaine d'arbres a été plantée au cours des deux dernières décennies; ceux-ci sont maintenant d'âge variable et de diamètres inférieurs à 30 cm. Le sol est couvert d'une végétation herbacée de prairie, parsemée de quelques ronces. Enfin, un processus de rajeunissement naturel de chêne pédonculé, de merisier et de noyer est en cours.
En définitive, l'OFEV relève que le secteur 4 conserve son potentiel intact de fonctions forestières en dépit de l'entretien actuel non conforme à celui d'une forêt. En particulier, la présence de chênes pédonculés, essence caractéristique de cette station, assure à la fois une production de bois et une valeur biologique et paysagère élevée.
5.2.2. Contrairement à l'opinion des recourants et conformément à la jurisprudence précitée, la situation avant le déboisement de 2007 doit être prise en considération dans la présente procédure, ce d'autant que celle-ci a été engagée sitôt après l'abattage des arbres. Les recourants ne peuvent à cet égard tirer aucun bénéfice de leur bonne foi: même s'ils pensaient que le déboisement de 2007, autorisé par l'inspecteur forestier (mais non selon une procédure de défrichement), signifiait que ce secteur n'était pas de nature forestière, ils n'ont toutefois pris aucune disposition irréversible en fonction de cette appréciation. Il n'y a dès lors pas lieu d'examiner si les autres conditions à l'application du principe de la bonne foi sont réunies. Ensuite, le fait qu'aucun reboisement de compensation n'ait été ordonné n'est pas propre à déterminer la nature du secteur litigieux. En d'autres termes, l'abattage des arbres effectué en 2007 par le garde-forestier ne peut guider l'appréciation de la nature du peuplement litigieux dans un sens ni dans l'autre. Il ressort en effet du dossier - et les recourants ne démontrent pas le contraire - que les conditions du déboisement de 2007 n'ont pas été établies dans le détail par une procédure en bonne et due forme. Dans ces circonstances, il n'est pas possible d'en inférer, comme tentent de le faire les recourants, qu'une autorisation de défrichement n'était pas nécessaire (et donc le régime forestier non applicable), ni, comme l'exposent la DGE et l'OFEV, que la seule intervention du garde-forestier démontrerait la nature forestière du secteur.
Il n'y a enfin pas lieu de tenir compte de l'entretien récent du parc, sauf à vider de son sens la législation. On ne saurait en effet justifier la nature non forestière d'un secteur naturellement boisé (comme l'attestent les photos aériennes antérieures aux constructions de la parcelle), par la seule volonté des propriétaires de le transformer en parc. Les critères de l'entretien et de l'intention des propriétaires ne sont pertinents que dans la situation inverse, à savoir lorsqu'un parc complètement artificiel est longuement laissé à l'état sauvage au point qu'il prenne une nature de forêt.
5.2.3. En dépit du déboisement de 2007 et des récentes interventions tendant à un entretien de type parc, le secteur 4 présente encore des essences de forêt. Sa dynamique actuelle démontre au demeurant un rapide processus de rajeunissement naturel par l'emprise de nouvelles pousses forestières. A cela s'ajoute qu'à l'instar de ce qu'a fait la cour cantonale, il faut en réalité tenir compte de l'état du boisement avant les coupes de 2007. L'argumentation des recourants, fondée pour l'essentiel sur l'état actuel des lieux, est ainsi sans pertinence. Pour le reste, ceux-ci remettent en cause de manière appellatoire la référence aux photos aériennes antérieures à 1992, sans apporter d'élément qui permettrait de démontrer que le boisement densément peuplé d'alors - ce qui ressort manifestement du dossier - n'était déjà plus de nature forestière.
5.3. En résumé, le boisement litigieux était, avant les coupes de 2007, de nature forestière et est toujours en mesure d'exercer les fonctions d'une forêt. Dès lors qu'il y a lieu de faire abstraction de ce déboisement et des récentes mesures d'entretien, réalisés non conformément à la législation sur les forêts, la nature forestière du secteur 4 doit être confirmée.
6.
Il résulte de ce qui précède que le recours doit être rejeté. Les recourants, qui succombent s'acquitteront des frais de justice (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants et de la Commune de Préverenges, à la Direction générale de l'environnement du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral de l'environnement, Division Droit.
Lausanne, le 13 novembre 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali