Faits: A. Les parcelles 125 et 190 de la commune de Buchillon font, entre autres, partie d'un site recensé comme gisement de matériaux à exploiter en première priorité, sous le n° 1242-004 du plan directeur des carrières du canton de Vaud (ci-après: PDCar), adopté par le Grand Conseil le 18 septembre 1991. Dans le cadre de l'adaptation du plan précité (PDCar 2, adopté par le Grand Conseil le 9 septembre 2003), le site a été étendu vers le nord. Le volume disponible dans l'entier du gisement défini au PDCar 2 est estimé à environ 2'300'000 m3; le site couvre une surface d'environ 20ha. Seule une partie réduite du gisement est qualifiée d'exploitable. La partie exploitable du gisement est située sur un plateau en pente très faible orientée au sud, à cheval sur les communes de Buchillon et d'Etoy, de part et d'autre de la route communale des Bruyères. Elle se trouve au nord-ouest du village de Buchillon, dont quelques habitations éparses sont érigées directement à proximité. La partie exploitable du gisement est bordée au sud par l'aire forestière du territoire communal de Buchillon. Les parcelles situées au nord du gisement ont fait l'objet d'un plan cantonal d'affectation (PAC Littoral Parc n ° 299, ci-après: PAC 299), visant à développer les activités au sud de l'autoroute des communes d'Allaman, Aubonne, Etoy et St-Prex. Cette zone s'est considérablement construite et accueille de nombreuses activités. Dans ce cadre, la Société immobilière F._ a développé sur les parcelles jouxtant au nord la route des Bruyères un projet immobilier comprenant notamment la construction d'un EMS (permis de construire délivré le 6 mars 2006) ainsi que d'un hôtel et d'un bâtiment administratif (permis de construire délivrés le 25 mai 2005). Les parcelles situées au sud-ouest de la partie exploitable du gisement, secteur dit "des Croix-Blanches", ont fait l'objet d'un plan partiel d'affectation, adopté par le Conseil communal de Buchillon le 30 mai 2006, et sont destinées à l'habitat de faible densité. B. Le 27 octobre 2004, le bureau G._ a soumis au Service des eaux, sols et assainissement (SESA) un dossier d'intention portant sur une demande de permis d'exploiter une gravière sur les communes de Buchillon et d'Etoy, au lieu-dit "Les Bruyères". Le dossier comprenait un plan d'extraction (comportant trois aires: A, B et C), un plan pour demande de permis d'exploiter portant sur les aires A et B, un mémoire technique et un rapport d'impact. Le projet a été mis à l'enquête publique du 12 août au 11 septembre 2005. Portant initialement sur l'exploitation des aires A et B, couvrant environ 3.7 ha, il devait permettre l'extraction d'un volume de graviers d'environ 150'000 m3 (90'000 pour l'aire A et 60'000 pour l'aire B). La durée totale de l'exploitation des aires A et B était estimée à 2.5 à 3 ans, y compris la remise en l'état du site. Aucun traitement des matériaux n'était envisagé sur place. Il était prévu que les camions emportant les matériaux graveleux ne rouleraient pas sur la route des Bruyères, mais partiraient vers le nord en direction de la RC 1 et de l'autoroute en utilisant une route récemment construite en limite des parcelles 1225 et 116. Ensuite, 80 % des matériaux graveleux emprunterait l'autoroute, 10 % serait acheminé en direction d'Allaman et 10 % en direction de St-Prex. Le bâtiment administratif, l'EMS et l'hôtel prévus au nord de la route des Bruyères devaient s'implanter à moins de 100 m du périmètre d'extraction, le futur bâtiment abritant l'EMS se situant à environ 50 mètres de la limite de l'aire A. Par décision du 31 mai 2006, le Département cantonal de la sécurité et de l'environnement du canton de Vaud (ci-après: le Département cantonal) a levé les oppositions formulées lors de l'enquête publique et a adopté le plan d'extraction avec la seule aire A. L'octroi du permis d'exploiter serait délivré au terme de la procédure d'adoption du plan d'extraction. Les communes de Buchillon et d'Etoy, l'Association C._ et 160 de ses membres à titre individuel ont recouru contre cette décision. Par arrêt du 13 juillet 2007, le Tribunal administratif du canton de Vaud (actuellement la Cour de droit administratif et public du Tribunal cantonal; ci-après: le Tribunal cantonal) a admis les recours. Il a, en substance, considéré que les éléments figurant au dossier ne permettaient pas de vérifier le respect des exigences de la législation sur la protection des eaux, notamment celle selon laquelle, en zone Au de protection des eaux, il convient de laisser une couche de matériaux de protection d'au moins deux mètres au dessus du niveau maximum décennal de la nappe. Le Tribunal cantonal a également constaté que, en raison des nuisances, notamment sonores, le projet posait problème pour les bâtiments voisins (EMS, bâtiment administratif et hôtel) dont la construction était prévue immédiatement au nord de la route de la Bruyère dans le périmètre du PAC 299. Etait relevé à cet égard un problème de coordination entre le développement du PAC et le PDCar et le fait que l'exploitation d'une gravière à 50 mètres d'une maison d'habitation n'était pas concevable au regard des buts et principes régissant l'aménagement du territoire, a fortiori lorsque le bâtiment était destiné à recevoir des personnes âgées. L'arrêt constatait au surplus la conformité du projet au regard des exigences de la législation fédérale sur l'environnement, soit plus particulièrement de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01), l'ordonnance du 15 décembre 1986 sur la protection contre le bruit (OPB; RS 814.41) et l'ordonnance du 16 décembre 1985 sur la protection de l'air (OPair; RS 814.318.142.1). C. En février 2008, le bureau G._, en tant que mandataire de D._, a soumis au Département cantonal un projet réduit par rapport à celui qui avait fait l'objet de l'arrêt du Tribunal cantonal du 13 juillet 2007. Ce nouveau projet porte sur l'extraction de 70'000 m3 de matériaux avec une surface d'exploitation de 15'000 m2 sise sur le territoire de la commune de Buchillon et inscrite entièrement dans l'aire A du dossier présenté en 2004. Le front d'exploitation, déplacé vers le sud, se situe à 75 mètres de la façade la plus proche de l'EMS. L'exploitante a établi un plan d'extraction le 6 mai 2008 correspondant au projet modifié. En relation avec ce projet, G._ a établi un mémoire technique et rapport d'impact complémentaire daté du 10 septembre 2008. Le nouveau projet a été soumis à la commune de Buchillon et à un examen préalable des services de l'Etat. Il n'a été soumis ni à une nouvelle étude d'impact sur l'environnement (le seuil des 300'000 m3 n'étant pas atteint) ni à une nouvelle mise à l'enquête publique. Par décision du 4 juin 2009, le Département cantonal a adopté le plan d'extraction "Les Bruyères", aire A réduite, selon le plan du 6 mai et le rapport complémentaire de septembre 2008. Les communes d'Etoy et de Buchillon ont déposé conjointement auprès du Tribunal cantonal un recours contre la décision précitée. La société A._, qui exploite l'EMS construit entre-temps, et l'Association C._ et 134 consorts en ont fait de même. Des oppositions relatives au nouveau projet de gravière ont été formulées notamment par plusieurs pensionnaires de l'EMS (ci-après: B._ et consorts). Ces oppositions ont été considérées comme des recours par le Département cantonal et transmises au Tribunal cantonal. Après avoir procédé à une inspection locale en présence des parties, le Tribunal cantonal a partiellement admis les recours. Il a réformé la décision du Département cantonal du 4 juin 2009 par l'adjonction des points suivants au ch. 8 "conditions d'exploitation": - le comblement et la remise en état de la partie de la gravière proche de l'EMS devront s'effectuer à partir du début de la saison froide et l'extraction devra se poursuivre à plus de 100 m de l'EMS dès le printemps de l'année suivante, - une butte d'une hauteur de 2.5 m sera réalisée à l'endroit mentionné dans le plan d'extraction, - les matériaux à l'origine des émissions de poussières pendant les périodes sèches prolongées seront humidifiés et un lave-roues sera installé à la sortie de l'accès au site. La décision a été confirmée pour le surplus. D. Agissant conjointement par la voie du recours en matière de droit public, les communes d'Etoy et de Buchillon, la société A._, l'Association C._ et ses membres à titre individuel ainsi que B._ et consorts demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 20 mai 2010 ainsi que la décision du Département cantonal du 4 juin 2009. Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause du Département cantonal pour que le nouveau plan d'extraction soit dûment mis à l'enquête avant qu'il soit statué sur les oppositions. Ils se plaignent pour l'essentiel d'une mauvaise application du droit fédéral en matière d'aménagement du territoire et d'environnement ainsi que d'une violation de leur droit d'être entendus. Le Tribunal cantonal se réfère aux considérants de son arrêt. Le Département cantonal, par l'intermédiaire du SESA, ainsi que la société D._ concluent au rejet du recours. Invité à se déterminer, l'Office fédéral de l'environnement estime que l'arrêt attaqué est conforme au droit fédéral sur la protection de l'environnement et à celui sur la protection des eaux. Les parties ont pu se prononcer sur les déterminations de l'Office fédéral précité. Par ordonnance du 19 juillet 2010, le Président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants.