Faits :
A.
Y._ et X._ sont copropriétaire des parcelles n os 3506, 3415, 3525 et 3465 du registre foncier de la commune de Chardonne, situées au chemin de la Forêt dans le haut du territoire communal. Les parcelles n os 3506, 3415 et 3525, qui sont contiguës, se situent en lisière de forêt sur un terrain en forte pente avec une orientation plein sud. Quant à la parcelle n° 3465, elle est sise en contrebas des autres parcelles, de l'autre côté du chemin de dévestiture. Les quatre biens-fonds couvrent une surface totale de 3'535 m 2, dont 2'955 m 2en zone à bâtir. Le règlement communal sur le plan général d'affectation et la police des constructions de la commune de Chardonne, entré en vigueur le 22 février 2007 (ci-après: RPGA), colloque la partie sise en zone à bâtir dans une zone intitulée "zone mixte de Baumaroche" régie par l'art. 31 RPGA, le solde (soit la partie supérieure des parcelles n os 3506 et 3415) se situant dans l'aire forestière. Les quatre parcelles sont actuellement libres de constructions et sont composées de prairies sèches. Une barre de rocher (poudingue) est située sur la parcelle n° 3525, qui est la plus à l'ouest. Les parcelles n os 3525, 3506 et 3415 jouxtent au nord la limite de l'objet n° 178 "Mont-Pèlerin, Mont-Cheseau" figurant à l'inventaire cantonal des monuments et sites. Outre la forêt sise au nord, les parcelles n os 3525, 3506, 3415 et 3465 sont entourées de parcelles construites, de caractère résidentiel, comprenant des villas, des chalets et des constructions plus récentes à toits plats ou à très faible pente. On accède à toutes ces parcelles, par un chemin privé (chemin de la Forêt), large d'environ 3 m avec une pente relativement importante (supérieure à 8%) comprenant deux virages en épingle au niveau desquels se trouve une place d'évitement. Tous les propriétaires des parcelles longeant le chemin de la Forêt sont titulaires de la servitude de passage à pied et pour tout véhicule qui s'exerce sur le tracé du chemin de la Forêt. Les parcelles sont grevées ou bénéficiaires de ce droit réel restreint selon l'endroit où elles sont situées.
En 2008, Y._ avait déposé un dossier de mise à l'enquête relatif à un projet de construction de trois maisons d'habitation de deux appartements sur les parcelles n os 3525, 3506 et 3415 (ci-après: le projet de 2008). Par décision du 4 février 2010, le Service des forêts, de la faune et de la nature du canton de Vaud avait délivré les autorisations spéciales requises pour les constructions à moins de 10 m de la lisière de la forêt (et octroyé par conséquent la dérogation requise) en subordonnant notamment cette autorisation à la réalisation de mesures de compensation, ceci le plus tôt possible, mais au plus tard l'année suivant la fin des constructions, les mesures de compensation devant en outre faire l'objet d'une mention au registre foncier. Par décisions du 19 octobre 2010, la Municipalité de Chardonne (ci-après: la Municipalité) avait levé toutes les oppositions et délivré le permis de construire. Par arrêt du 2 novembre 2011, la Cour de droit administratif et public du Tribunal cantonal avait admis le recours formé par des opposants au projet et a annulé les décisions du Service des forêts, de la faune et de la nature du 4 février 2010 et de la Municipalité du 19 octobre 2010. La cour cantonale avait considéré que les conditions permettant de déroger à la distance de 10 m par rapport à la lisière de la forêt n'étaient pas remplies et que la distance réglementaire de 6 m entre le bâtiment prévu sur la parcelle n° 3525 et la limite de la parcelle n° 3350 n'était pas respectée par une terrasse prévue à l'ouest du bâtiment.
B.
Y._ et X._ ont soumis à l'enquête publique du 18 mars 2015 au 16 avril 2015 un nouveau projet de construction de trois villas sur les parcelles n° 3425 (villa 1), n° 3465 (villa 2) et n° 3415 (villa 3). Selon les plans, la villa 1 comprend deux appartements en triplex (rez-de-chaussée, 1 er étage et 2 ème étage) avec un étage désigné comme sous-sol au niveau de la route comprenant l'entrée, deux garages, des locaux techniques et des caves; deux terrasses de 54,85 m 2et 39,90 m 2 sont prévues au rez-de-chaussée et deux terrasses de 14,80 m 2et 15 m 2 au 2 ème étage. La villa 2, sise en contrebas, comprend un studio au niveau désigné comme sous-sol et un appartement occupant les étages désignés comme rez-de-chaussée, 1 er étage et combles; le studio dispose d'une terrasse de 19,40 m 2et l'appartement d'une terrasse de 49,10 m 2 au niveau du rez-de-chaussée; deux places de parc intérieures sont prévues au 1 er étage et une place de parc dans un garage sis de l'autre côté du chemin de la Forêt. La villa 3 comprend deux appartements occupant les étages désignés comme rez-de-chaussée, 1 er étage et combles avec un étage désigné comme sous-sol au niveau de la route comprenant l'entrée, deux garages de deux places chacun, des locaux techniques et des caves; des terrasses de respectivement 43,80 m 2et 12,45 m 2 sont prévues au niveau du rez-de-chaussée et du 1 er étage. Les trois villas projetées sont dotées d'un toit à quatre pans avec un faîte désaxé. Quatre places de parc extérieures sont prévues sur la parcelle n° 3506, bordant le chemin de la Forêt. Le projet prévoit le regroupement des parcelles n os 3506, 3415, 3525 et 3465.
Plusieurs oppositions ont été déposées durant l'enquête publique, dont celle de A._, celle de B._, celle de D._ et C._, celle de E._ et F._ et celle de G._ et H._ (ci-après: A._ et consorts), propriétaires de parcelles directement voisines.
Le 3 juin 2015, la Centrale des autorisations CAMAC du Département des infrastructures et des ressources humaines du canton de Vaud a établi une synthèse des autorisations spéciales cantonales et des préavis des services cantonaux concernés par le projet. La Direction générale de l'environnement, Direction des ressources et du patrimoine naturel (ci-après: la DGE) a relevé que le projet allait porter atteinte à des prairies maigres contenant une flore protégée et qu'une autorisation spéciale, en application de l'art. 18 de la loi fédérale sur la protection de la nature et du paysage du 1 er juillet 1966 (LPN; RS 451) et des art. 4a al. 2 et 4a al. 2bis de la loi vaudoise du 10 décembre 1969 sur la protection de la nature, des monuments et des sites (LPNMS: RSV 450.11), était requise. La DGE a refusé de délivrer l'autorisation spéciale en l'état tout en précisant que celle-ci pourrait être délivrée moyennant le respect d'un certain nombre de conditions, plus particulièrement une reprise et une adaptation du rapport du Bureau W._ - établi en lien avec le projet de 2008 - à la nouvelle variante du projet, le nouveau rapport devant également traiter de la problématique des arbres à abattre et plus particulièrement de la justification des abattages, en vertu de l'art. 15 du règlement du 22 mars 1989 d'application de la LPNMS (RPLNMS; RSV 450.11.1), ainsi que des mesures de compensation qualitatives. L'Etablissement cantonal d'assurance contre l'incendie et les éléments naturels (ECA) a aussi refusé de délivrer l'autorisation spéciale requise. Il a exigé que la demande de permis de construire soit complétée par une évaluation locale de risque.
Le Bureau W._ a établi le rapport complémentaire requis, daté du 20 août 2015 (ci-après: le rapport W._). Le Bureau V._ SA a rendu un rapport d'évaluation locale des risques sur les parcelles n os 3506, 3415, 3525 et 3465, le 16 décembre 2016 (ci-après: le rapport V._).
Le 16 mars 2017, la Centrale des autorisations CAMAC du Département des infrastructures et des ressources humaines a établi une nouvelle synthèse des autorisations spéciales cantonales et des préavis des services cantonaux concernés par le projet. La DGE a délivré l'autorisation requise, en application des <ref-law>, 4a al. 2 et 4a al. 2bis LPNMS, en la subordonnant à un certain nombre de conditions, notamment la mise en oeuvre des mesures figurant au chapitre IV du rapport W._. La décision relevait que l'abattage des deux chênes devait encore être justifié en précisant que l'aménagement de la terrasse pouvait être modifié pour permettre la sauvegarde des deux (ou au moins un) chênes. L'ECA a délivré l'autorisation spéciale requise en la subordonnant à la mise en oeuvre des mesures de prévention et constructives recommandées dans le rapport V._ pour les dangers de glissement de terrain et de chutes de pierres et blocs.
Par décisions du 26 septembre 2017, la Municipalité a levé les oppositions et délivré le permis de construire.
C.
Par acte du 27 octobre 2017, A._ et consorts ont interjeté un recours contre les décisions du 26 septembre 2017 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou la cour cantonale). Celle-ci a tenu audience et a procédé à une inspection locale, le 19 mars 2018. Par arrêt du 20 août 2018, elle a admis partiellement le recours et a complété la décision de la Municipalité du 26 septembre 2017 en ce sens que le permis de construire est subordonné à l'obligation de couvrir la toiture du garage deux places de la villa 1 par une couche de terre de 40 cm au minimum, à l'obligation de remplir de terre les volumes situés entre le mur longeant le chemin de la Forêt et la villa 1, à l'obligation de procéder à l'élargissement à 2 m 80 de la porte du garage une place de la villa 1, à l'élargissement à 5 m de la porte du garage deux places de la villa 1, à l'élargissement à 2 m 80 de la porte du garage une place de la villa 2, à l'élargissement à 5 m de la porte du garage deux places de la villa 2, à l'élargissement à 5 m de la porte du garage deux places côté ouest de la villa 3 et à l'obligation de réaliser une porte de garage unique d'une largeur de 5 m 30 pour le garage deux places côté est de la villa 3.
D.
Agissant par la voie du recours en matière de droit public, A._ et consorts demandent principalement au Tribunal fédéral de réformer l'arrêt du 20 août 2018 en ce sens que les oppositions sont validées et le permis de construire est refusé. Ils concluent subsidiairement à l'annulation de l'arrêt du 20 août 2018 et au renvoi de la cause à l'autorité inférieure pour nouvelle décision au sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de l'arrêt attaqué. Y._ et X._ ainsi que la Municipalité concluent au rejet du recours. La Direction générale de l'environnement a déposé des observations. Les recourants ont répliqué, par courriers des 23 janvier et 5 février 2019.
E.
Par ordonnance du 15 octobre 2018, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif, présentée par les recourants.

Considérant en droit :
1.
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours en matière de droit public est en principe recevable, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Les recourants ont pris part à la procédure de recours devant l'instance précédente (<ref-law>). En tant que propriétaires de parcelles directement voisines du projet de construction litigieux, les recourants sont particulièrement touchés par l'arrêt attaqué confirmant la décision d'autorisation de construire, qu'ils tiennent en particulier pour non conforme au règlement communal. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils ont dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité sont par ailleurs réunies, si bien qu'il y a lieu d'entrer en matière sur le fond.
2.
Dans la première partie de leur écriture, les recourants présentent leur propre exposé des faits. Or, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Les recourants ne peuvent critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>. En l'espèce, le recours ne comporte aucune démonstration du caractère arbitraire de l'état de fait de la décision attaquée, de sorte qu'il n'y a pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision.
3.
Dans un premier grief, les recourants font valoir une application arbitraire du droit cantonal et communal.
3.1. Le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité. Le Tribunal fédéral n'a pas à déterminer quelle est l'interprétation correcte que l'autorité cantonale aurait dû donner des dispositions applicables; il doit uniquement examiner si l'interprétation qui a été faite est défendable. Par conséquent, si celle-ci ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation cantonale en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable. De plus, il ne suffit pas que les motifs de la décision attaquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (<ref-ruling> consid. 2.1 p. 18). Dans ce contexte, le recourant est soumis aux exigences accrues de motivation de l'<ref-law>.
3.2. Les recourants reprochent d'abord au Tribunal cantonal d'avoir réformé le permis de construire litigieux en le subordonnant à l'obligation de couvrir la toiture des garages de la villa 1 par une couche de terre de 40 cm. Ils font valoir une application arbitraire des art. 28 et 67 RPGA.
3.2.1. L'art. 28 RPGA traite de la distance entre façades et limites de propriété. Il prévoit, pour les bâtiments dont la plus grande dimension n'excède pas 18 mètres, que la distance minimum à la limite de propriété voisine est de 6 mètres. Il précise que, pour les bâtiments dont la plus grande dimension excède 18 mètres, le 1/5 de la sur-longueur doit être ajouté à la distance à la limite, et ce pour toutes les façades. Il prévoit encore que "la distance entre la façade amont et la limite de la propriété voisine peut être réduite si le faîte ne dépasse pas une ligne de pente de 30 % partant de l'horizontale du niveau moyen du terrain de ladite limite. Toutefois, cette distance ne pourra être inférieure à 5 mètres. Ces distances sont additionnées entre bâtiments sis sur la même propriété. ".
L'art. 67 RPGA a la teneur suivante:
Art. 67 Constructions souterraines
Sont souterraines, les constructions liées ou non à un bâtiment principal, dont le 75 % au moins du volume est au-dessous du niveau du sol naturel ou aménagé, dont une face entière au plus reste visible après l'aménagement et dont la toiture est, en principe, couverte d'une couche de terre de 40 cm au minimum.
Elles peuvent être construites dans les espaces réglementaires aux limites ou entre bâtiments sur une même propriété, mais à 3 mètres au moins de la limite de propriété, la Municipalité pouvant autoriser une distance inférieure dans les cas particuliers.
La Municipalité peut autoriser l'aménagement d'emplacements de stationnement sur la toiture des constructions souterraines si par ailleurs la création et le maintien de surfaces de verdure suffisantes sont garanties sur l'ensemble de la parcelle.
3.2.2. En l'occurrence, il ressort des plans que la villa 1 dispose de deux garages surmontés d'une terrasse, situés à 3 m des limites des parcelles n° 3350 à l'ouest et n° 3466 au sud. Le Tribunal cantonal a retenu que les 75 % du volume des garages étaient situés au-dessous du terrain naturel ou aménagé et qu'une seule façade entière était visible (la façade sud). Il a exigé la pose d'une couche de terre de 40 cm sur la toiture, afin que l'avant-corps soit considéré comme une construction souterraine au sens de l'art. 67 al. 1 RPGA et qu'il puisse s'implanter à 3 m des limites de propriété.
Les recourants affirment que la solution de l'instance précédente conduirait à autoriser tout avant-corps moyennant de le recouvrir d'une couche de terre. Ils qualifient ce "bricolage" d'arbitraire. Cette affirmation manque de pertinence dans la mesure où seules les constructions qualifiées de souterraines, c'est-à-dire celles qui remplissent aussi les autres conditions de l'art. 67 al. 1 RPGA, peuvent être implantées jusqu'à 3 m des limites de propriété et non pas toutes les constructions limitrophes, comme le soutiennent les recourants.
Les recourants prétendent encore que l'avant-corps de la villa 1 comporterait non pas une face visible, mais trois, de sorte qu'il ne pourrait pas être considéré comme souterrain au sens de l'art. 67 RPGA. L'art. 67 RPGA prévoit toutefois expressément qu'une "face entière au plus reste visible"; rien n'est précisé quant aux faces partiellement enterrées. Le Tribunal cantonal pouvait ainsi retenir sans arbitraire que seule la façade sud sera entièrement visible, la façade ouest étant partiellement enterrée.
Les recourants contestent aussi que le 75 % du volume de la construction se trouve au-dessous du niveau du sol. Ils font valoir que le calcul volumétrique aurait été fait en tenant compte de deux "cages" de béton fermées sur tous les côtés et remplies de terre. Il ressort cependant du plan des coupes de la villa 1 que tout le niveau du sous-sol, comprenant garages, caves, entrées et réduit est situé en-dessous du niveau du terrain naturel pour 75 % de son volume. Les recourants ne parviennent donc pas à démontrer le caractère insoutenable des constatations cantonales fondées sur les plans. Pour le reste, la cour cantonale a considéré que les volumes destinés à être remplis de terre, entre le mur longeant le chemin de la Forêt et la villa 1, étaient des remblais retenus par le mur de soutènement clairement distinct de la façade du bâtiment, dont il sera séparé par une distance de 3 m 60; visuellement, on aura ainsi un mur de soutènement à l'avant avec un jardin à l'arrière, le mur constituant un élément de ce jardin et non pas une façade à prendre en compte dans le calcul de la plus grande dimension du bâtiment.
Enfin, les recourants font valoir que la distance à la limite entre la villa 1 et la villa 2 ne serait pas respectée (art. 28 al. 4 RPGA). Cette problématique ne ressort toutefois pas de l'arrêt attaqué. Par conséquent, dans la mesure où les recourants ne prétendent pas que cette question aurait été fautivement ignorée par le Tribunal cantonal (cf. art. 29 al. 2 Cst.) et qu'il s'agit d'une critique portant sur l'application du droit cantonal, cet aspect du grief, soulevé à ce stade de la procédure, est irrecevable (cf. arrêt 1C_554/2016 du 15 janvier 2018 consid. 8.1; voir aussi FRANÇOIS CHAIX, Les motifs du recours en matière de droit public, in: Dix ans de la Loi sur le Tribunal fédéral, 2017, n. 81 ss p. 222). De plus, les constatations de faits retenues par le Tribunal cantonal, auxquelles le Tribunal fédéral est lié (<ref-law>), ne permettent pas d'examiner ce grief.
En définitive, les recourants ne parviennent pas à démontrer que le Tribunal cantonal a fait preuve d'arbitraire dans l'application des art. 28 et 67 RPGA.
3.3. Les recourants soutiennent ensuite que la hauteur réglementaire ne serait pas respectée pour la villa 1 et que la cour cantonale aurait appliqué arbitrairement les art. 30 et 69 RPGA.
3.3.1. L'art. 30 RPGA a la teneur suivante:
Art.30 Hauteur des façades
La hauteur des façades ne peut dépasser 7 m sur la sablière. Dans les terrains à forte pente, la Municipalité peut autoriser une hauteur supplémentaire à la sablière, mais au maximum 10 m. L'article 69 et la loi sur le plan de protection de Lavaux sont applicables.
L'art. 69 RPGA a la teneur suivante:
Art.69 Hauteur des façades (voir croquis)
La hauteur sur la sablière est mesurée sur la façade aval, au milieu de celle-ci, dès le niveau du terrain naturel. En cas d'aménagement en déblai sur plus d'un tiers de la façade considérée, la hauteur sur la sablière est mesurée à partir du niveau du terrain aménagé. Les points de références stables cotés en altitude seront figurés sur le plan d'enquête: altitude du terrain naturel à l'axe de la façade Sud et aux angles de la construction. Si la configuration du terrain est particulièrement accidentée, la Municipalité fixe l'altitude à prendre en considération. En cas de décrochement de la sablière, la hauteur sur celle-ci doit être respectée pour chaque corps de bâtiments.
3.3.2. En l'espèce, le Tribunal cantonal a confirmé l'interprétation de la Municipalité - laquelle dispose d'une importante latitude de jugement dans l'interprétation de son règlement - selon laquelle la hauteur de la villa 1 se calculait depuis le niveau du terrain existant et non pas depuis le niveau de la route. Il a ajouté que le mur situé le long du chemin de la Forêt se distinguait visuellement des façades des villas et constituait un élément séparé, puisqu'il n'était pas sur le même plan que les façades; on n'aura par conséquent pas, visuellement, l'aspect d'un immeuble de plus de 13 m avec quatre niveaux sous la corniche.
Les recourants prétendent que le raisonnement de l'instance précédente serait arbitraire parce qu'il suffirait de remplir un niveau de "caissons de terre" pour augmenter artificiellement la hauteur d'un bâtiment. Leur critique ne parvient pas à démontrer le caractère insoutenable du raisonnement de la cour cantonale qui a pris pour point de départ le terrain naturel et non pas le niveau du rez-de-chaussée comme le soutiennent les recourants.
Quant à l'affirmation des recourants sur le fait que l'entreposage d'une couche de terre de 40 cm au-dessus de l'avant-corps contraindrait les constructeurs à surélever encore davantage leur construction, elle relève à ce stade d'une pure spéculation.
3.4. Les recourants ne mettent plus en cause l'autorisation de mettre des velux plutôt que des lucarnes sur le toit. Ils reprochent toutefois aux juges cantonaux d'avoir validé les ouvertures en toiture de la villa 1 "clairement proscrites par le RPGA".
3.4.1. L'art. 73 RPGA a la teneur suivante:
Art. 73 Ouvertures en toiture
Règles générales :
D'une façon générale, seules les lucarnes sont autorisées. Elles doivent être placées au minimum à 30 cm en retrait de l'aplomb du parement extérieur du mur de façades mais sans interruption de l'avant-toit. Leurs largeurs additionnées ne pourront dépasser le tiers de la longueur de chaque façade si le toit est à 4 pans ou la moitié si le toit est à 2 pans. La largeur maximum hors tout d'une ouverture est de 3 m.
Pour des raisons de cohérence architecturale et pour autant que l'intégration soit satisfaisante, la Municipalité peut autoriser d'autres ouvertures en toiture. Les surfaces de celles-ci ne dépasseront pas le 5 % du pan de toit correspondant (8 % s'il n'y a pas de lucarne), sans déduction de la surface des lucarnes.
3.4.2. En l'occurrence, le Tribunal cantonal a considéré que les ouvertures prévues n'étaient certes pas placées à 30 cm en retrait du parement extérieur du mur de la façade, comme le prescrit l'art. 73 al. 1 RPGA, mais que les ouvertures en question horizontales permettaient l'éclairage zénithal des cages d'escalier entièrement enterrées en amont du bâtiment. Il a considéré que, lorsqu'il a exigé le retrait des lucarnes de 30 cm par rapport au parement extérieur du mur de façades, le législateur communal poursuivait manifestement un but esthétique lié à la lecture de la façade et de la toiture; dès lors que la façade amont était entièrement enterrée, cet objectif n'était pas mis en péril par les ouvertures litigieuses. La cour cantonale a considéré par conséquent que la Municipalité n'avait pas outrepassé la latitude de jugement dont elle dispose dans l'interprétation de son règlement.
Face à ce raisonnement, les recourants se contentent d'affirmer que l'instance précédente a créé un motif permettant de justifier une entorse à la réglementation communale. Or l'art. 73 al. 1 RPGA permet d' "autoriser d'autres ouvertures en toiture", "pour des raisons de cohérence architecturale et pour autant que l'intégration soit satisfaisante": on ne voit donc pas quelles ouvertures seraient "clairement proscrites", comme l'affirment les recourants. Mal fondé, le grief de l'application arbitraire de l'art. 73 al. 1 RPGA doit être écarté.
3.5. Enfin, les recourants "attire[nt] l'attention sur le fait que les ancrages prévus pour faire tenir le mur de soutènement dont la construction est prévue le long du chemin de la Forêt ne respecteront" pas la distance minimale à la lisière de la forêt prévue par l'art. 27 al. 1 de la loi forestière vaudoise du 8 mai 2012 (LForêt, RSV 921.01). Dans leur mémoire de recours, ils ne prétendent cependant pas que l'art. 27 al. 1 LForêt aurait été appliqué arbitrairement. Ils le font uniquement dans leur mémoire de réplique, de sorte que l'argument, tardif, est irrecevable. En effet, selon la jurisprudence, le mémoire de réplique ne saurait être utilisé aux fins de présenter de nouveaux arguments ou griefs qui auraient déjà pu figurer dans l'acte de recours (<ref-ruling> consid. 1.2.3 p. 286 et les références citées). Admettre le contraire aurait en effet pour conséquence de prolonger les délais légaux, ce qui est expressément prohibé par l'<ref-law>, et de créer des inégalités de traitement. Les recourants auraient dû se prévaloir de ces arguments dans leur recours. Il s'ensuit que ce moyen ne peut être pris en considération.
Au demeurant, la cour cantonale a considéré à cet égard qu'il n'y avait pas lieu de craindre qu'un ancrage du mur de soutènement amont ne respecte pas la distance minimale à la forêt. Elle a jugé qu'un ancrage était un élément constructif souterrain n'ayant aucun impact visuel et aucune influence sur le terrain naturel; il n'avait donc pas à respecter la distance minimale à la forêt. Dans leur recours, les recourants ne critiquent pas cette argumentation et se contentent d'affirmer que ces ancrages n'auraient pas dû être autorisés par la commune et auraient dû faire l'objet d'une enquête complémentaire. Partant, leur grief aurait aussi été déclaré irrecevable, faute de satisfaire aux exigences accrues de motivation (cf. consid. 3.1).
4.
Les recourants reprochent aussi à la cour cantonale de ne pas avoir ordonné les mesures d'instruction nécessaires, "afin de déterminer quelle sera l'affectation future des logements projetés", comme l'exigerait la jurisprudence fédérale, en application de la loi fédérale du 20 mars 2015 sur les résidences secondaires (LRS; RS 702).
Ce grief peut être d'emblée rejeté puisque, selon le tableau établi par l'Office fédéral du développement territorial faisant état des procédures au 29 mars 2018, le taux de résidences secondaires de la commune de Chardonne est inférieur à 20 %. Celle-ci n'est donc pas soumise à la loi sur les résidences secondaires, laquelle définit les conditions auxquelles la construction de nouveaux logements est soumise dans les communes qui comptent une proportion de résidences secondaires supérieure à 20 % (art. 1 LRS).
5.
Les recourants font enfin valoir que la cour cantonale aurait dû procéder à un contrôle incident de la validité du Plan général d'affectation de Chardonne en raison de l'entrée en vigueur des modifications de la LAT relatives au redimensionnement de la zone à bâtir de juin 2012. Ils soutiennent que le contrôle incident se justifierait parce que les parcelles litigieuses sont situées à l'extrême nord des secteurs bâtis, en lisière de forêt.
5.1. Selon la jurisprudence, le contrôle incident ou préjudiciel d'un plan d'affectation dans le cadre d'une procédure relative à un acte d'application est en principe exclu. Un tel contrôle est néanmoins admis, à titre exceptionnel, lorsque les conditions d'un réexamen des plans au sens notamment de l'art. 21 al. 2 LAT sont réunies (cf. <ref-ruling> consid. 12c p. 346). Aux termes de l'art. 21 al. 2 LAT, lorsque les circonstances se sont sensiblement modifiées, les plans d'affectation feront l'objet des adaptations nécessaires; une modification sensible des circonstances au sens de l'art. 21 al. 2 LAT peut être purement factuelle, mais également d'ordre juridique, comme une modification législative (cf. <ref-ruling> consid. 5.1 p. 44 s. et les références citées; <ref-ruling> consid. 6b p. 105; arrêt 1C_308/2017 du 4 juillet 2018 consid. 3.1).
Pour que l'entrée en vigueur des modifications de la LAT du 15 juin 2012 puisse justifier un contrôle préjudiciel de la planification, il faut que s'y ajoutent d'autres circonstances, notamment la localisation de la parcelle par rapport à la zone à bâtir existante, le niveau d'équipement de la parcelle et la date d'entrée en vigueur du plan d'affectation (<ref-ruling> consid. 5.2 p. 45 s. et la jurisprudence citée).
5.2. En l'espèce, l'instance précédente a considéré que les parcelles en question se trouvaient dans un secteur largement bâti avec des constructions à l'ouest, à l'est et au sud et qu'on ne se trouvait par conséquent pas en présence d'une petite zone constructible isolée.
Les recourants se contentent de mentionner, sans le développer, que le chemin de la Forêt constitue une voie d'accès insuffisante. Or dans l'arrêt attaqué, le Tribunal cantonal a examiné la question de l'accès aux parcelles qu'il a jugé suffisant, pour des motifs que les recourants ne contestent pas. Les recourants ajoutent que le niveau d'équipement des parcelles est inadéquat - sans le démontrer - et que le RPGA est "plutôt ancien". Cela ne suffit pas pour admettre qu'une exclusion de la zone à bâtir s'imposerait d'emblée, compte tenu de la localisation de la parcelle dans un secteur largement bâti et du fait que la planification existante est entré en vigueur le 22 février 2007.
Par ailleurs, comme le relèvent les recourants, la commune de Chardonne a adopté récemment une zone réservée qui ne concerne pas les biens-fonds en cause. Ceci est un motif supplémentaire qui ne plaide pas en faveur d'un contrôle incident de la planification dans le cadre de la présente procédure.
6.
Il s'ensuit que le recours est rejeté dans la mesure de sa recevabilité.
Conformément aux <ref-law>, les frais judiciaires sont mis à la charge des recourants qui succombent. Ceux-ci verseront aussi une indemnité de dépens aux intimés, qui ont procédé avec l'aide d'un mandataire professionnel (<ref-law>). La Municipalité de Chardonne n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge des recourants.
3.
Une indemnité de dépens de 3'000 francs, est allouée aux intimés, à la charge des recourants pris solidairement entre eux.
4.
Le présent arrêt est communiqué aux mandataires des recourants, des intimés et de la Municipalité de Chardonne, à la Direction générale de l'environnement du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 13 mai 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller