Faits:
A. C._ est propriétaire de la parcelle 23 du registre foncier de la commune de Saint-Prex, sise au n° 10 de la Grand'Rue, sur laquelle est construit un immeuble de trois étages. La parcelle est située dans la zone de la vieille ville selon le règlement communal sur le plan général d'affectation et la police des constructions approuvé par le Conseil d'Etat le 15 juillet 1987 et par le Département des transports publics, de l'aménagement et des transports le 12 juin 1997 (ci-après: le RPGA) et soumise au plan d'affectation "Vieille ville" du 12 juin 1997.
Le 15 novembre 2007, C._ et Orange Communications SA ont présenté une demande de permis de construire portant sur l'installation d'un site de téléphonie mobile sur l'immeuble précité. Le projet consiste en trois antennes de type K742 233 (UMTS), chacune ayant une hauteur de 57 cm et une largeur de 32 cm, ainsi que les installations techniques (trois MHA, un col de cygne, une échelle à câbles, des armoires techniques, un coffret M2L et un luminaire 36W), prévues à l'intérieur de l'immeuble, dans les combles. Le col de cygne dépasserait du toit et les antennes seraient fixées contre la cheminée existante au moyen d'un cerclage, ce qui exclut tout percement de la cheminée. Afin qu'elles soient "camouflées", elles seraient peintes (décor "cheminée").
Mis à l'enquête publique du 1er au 31 décembre 2007, le projet a suscité quarante-sept oppositions. La centrale des autorisations CAMAC a rendu sa synthèse le 7 février 2008, d'où il ressort notamment que le Service cantonal de l'environnement et de l'énergie préavise favorablement le projet, sous réserve du respect de certaines conditions impératives. Dans ses déterminations du 28 mars 2008, le médecin cantonal a indiqué qu'on ne disposait pas d'éléments scientifiques permettant de refuser pour motifs de santé publique l'implantation d'une antenne de téléphone mobile respectant les normes fédérales, même si le peu de recul aujourd'hui disponible ne permettait pas d'exclure tout risque.
Par décision du 7 avril 2008, la municipalité de Saint-Prex a refusé de délivrer le permis de construire sollicité, faisant valoir qu'elle se devait de prendre toutes les mesures nécessaires afin de garantir la santé de ses habitants. La décision communale n'a ainsi retenu que le risque d'atteinte à la santé.
B. Par arrêt du 15 juin 2009, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a admis le recours d'Orange Communications SA et annulé la décision de la municipalité du 7 avril 2008, le dossier lui étant retourné pour nouvelle décision au sens des considérants. Le Tribunal cantonal a considéré en substance que le projet respectait les valeurs limites de l'ordonnance du 23 décembre 1999 sur la protection contre le rayonnement non ionisant (ORNI; RS 814.710). L'installation litigieuse était par ailleurs conforme à l'art. 9 al. 3 RPGA, le rapport fonctionnel avec le lieu prévu pour son implantation ayant été établi. Les travaux envisagés étaient modestes et ne portaient pas atteinte au site, si bien qu'il n'était pas nécessaire de procéder à une expertise au sens de l'art. 7 de la loi fédérale du 1er juillet 1966 sur la protection de la nature et du paysage (LPN; RS 451) avant de délivrer le permis de construire.
C. Agissant par la voie du recours en matière de droit public, A._ et consorts demandent au Tribunal fédéral de réformer l'arrêt précité en ce sens que la décision municipale du 7 avril 2008 est confirmée. Subsidiairement, ils concluent à l'annulation de l'arrêt entrepris. Les recourants font valoir une appréciation arbitraire des preuves et se plaignent d'une mauvaise application du droit fédéral, plus particulièrement en matière de protection de la nature et du paysage et de protection de l'environnement.
Le Tribunal cantonal renonce à déposer une réponse au recours. Le Service cantonal de l'environnement et de l'énergie a déposé des observations sans prendre de conclusions. La commune de Saint-Prex adhère aux conclusions des recourants. Orange Communications SA conclut au rejet du recours. B._ demande au Tribunal fédéral d'admettre le recours et d'annuler l'arrêt attaqué. Invité à se déterminer, l'Office fédéral du développement territorial relève que l'affaire ne soulève pas, au regard du droit fédéral de l'aménagement du territoire et de la planification, de questions de principe nécessitant des observations de sa part. L'Office fédéral de l'environnement constate que l'arrêt attaqué est conforme au droit fédéral de l'environnement. L'Office fédéral de la culture indique partager l'avis exprimé dans l'arrêt attaqué et propose le renvoi de la cause à la commune de Saint-Prex pour nouvelle décision au sens des considérants. L'Office fédéral de l'environnement renonce à prendre position sur les observations de l'Office fédéral de la culture. La commune de Saint-Prex et B._ ont dupliqué le 7 mai; la commune a confirmé ses conclusions. L'Office fédéral du développement territorial ainsi qu'Orange Communications SA ont fait savoir que les prises de position de l'Office fédéral de l'environnement et de l'Office fédéral de la culture ne suscitaient pas d'observations de leur part. Les recourants se sont prononcés sur les différentes observations et ont confirmé leurs conclusions. D._ et E._, tous les deux médecins et recourants, ont déposé des courriers spontanés les 9 et 11 mai 2010. Le Service cantonal de l'environnement et de l'énergie a indiqué ne pas avoir de remarques particulières à faire valoir concernant les nouvelles écritures.
Par ordonnance du 17 septembre 2009, le président de la Ire Cour de droit public a admis la requête d'effet suspensif des recourants.
Considérant en droit:
1. 1.1 La voie du recours en matière de droit public au sens de l'art. 82 let. a LTF est ouverte contre une décision prise en dernière instance cantonale portant sur l'octroi d'une autorisation de construire une installation de téléphonie mobile. Les recourants ont participé à la procédure de recours devant le Tribunal cantonal; il n'est pas contesté qu'ils sont domiciliés à l'intérieur du périmètre de 266 m défini comme distance maximale pour pouvoir former opposition dans la fiche de données spécifiques au site produite par le constructeur. La qualité pour agir doit leur être reconnue.
1.2 Le recours en matière de droit public est recevable contre les décisions qui mettent fin à la procédure (art. 90 LTF) ou contre les décisions partielles (art. 91 LTF). En revanche, en vertu de l'art. 93 al. 1 LTF, les décisions incidentes notifiées séparément qui ne portent pas sur la compétence ou sur une demande de récusation ne peuvent faire l'objet d'un recours en matière de droit public que si elles peuvent causer un préjudice irréparable (let. a), ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
En l'espèce, le recours est dirigé contre un arrêt du Tribunal cantonal qui a annulé la décision de la municipalité et retourné le dossier à cette dernière pour nouvelle décision au sens des considérants. L'arrêt attaqué ne met par conséquent pas fin à la procédure administrative et revêt un caractère incident. Dans un tel cas, le recours n'est ouvert que si l'une des deux hypothèses de l'art. 93 LTF est réalisée. Or, la jurisprudence admet qu'il peut résulter un préjudice irréparable, au sens de l'art. 93 al. 1 let. a LTF, pour une commune qui doit se soumettre aux injonctions du Tribunal cantonal. On ne peut en effet pas exiger d'une commune, qui peut invoquer son autonomie au sens de l'art. 50 Cst., de donner suite à une injonction qu'elle considère comme fausse, pour plus tard contester sa propre décision (ATF 133 II 409 consid. 1.2 p. 412; 128 I 3 consid. 1b p. 7 et les références citées). Comme en l'occurrence la commune de Saint-Prex a attaqué la décision de renvoi du Tribunal cantonal (cause 1C_358/2009), le recours simultané déposé par des particuliers est également recevable (cf. ATF 133 II 409 consid. 1.2 p. 412 in fine; 116 Ia 221 consid. 1e p. 226).
Pour le surplus, les autres conditions de recevabilité sont réunies de sorte qu'il convient d'entrer en matière.
2. Les recourants se plaignent tout d'abord d'une appréciation arbitraire des preuves.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus par l'art. 105 al. 2 LTF. Quant au recourant, il ne peut critiquer la constatation de faits, susceptibles d'avoir une influence déterminante sur l'issue de la procédure, que si ceux-ci ont été établis de manière manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF, en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (art. 97 al. 1 LTF; ATF 134 V 53 consid. 4.3 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135). Selon la jurisprudence, l'appréciation des preuves ou l'établissement des faits sont arbitraires (art. 9 Cst.; pour une définition de l'arbitraire cf. ATF 134 I 263 consid. 3.1 p. 265 s.; 133 I 149 consid. 3.1 p. 153) lorsque l'autorité n'a manifestement pas compris le sens et la portée d'un moyen de preuve, si elle ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision ou lorsqu'elle tire des constatations insoutenables des éléments recueillis (ATF 129 I 8 consid. 2.1 p. 9; 127 I 38 consid. 2a p. 41).
2.2 Les recourants font valoir que l'affirmation de l'intimée Orange Communications SA selon laquelle le bourg de Saint-Prex ne bénéficierait pas d'une couverture UMTS adéquate était contredite par des informations fournies par l'opérateur lui-même sur son site internet; la Cour cantonale avait privilégié, pour apprécier l'état de la couverture actuelle du secteur en cause, un document produit par l'intimée et qui faisait apparaître que la couverture UMTS du bourg de Saint-Prex serait insuffisante et n'assurerait pas une réception UMTS à l'intérieur des bâtiments. Les juges cantonaux ont en effet relevé qu'Orange Communications SA avait rendu vraisemblable, par la production d'une carte montrant la couverture actuelle en UMTS sur le bourg de Saint-Prex, que celle-ci était insuffisante; lors de l'audience, elle avait précisé que la densité de la couverture qui figurait sur son site internet destiné au public ne faisait référence qu'à l'extérieur des bâtiments. Les recourants, qui soulignent que l'auteur de la carte déposée en procédure est inconnu, n'allèguent pas pour autant que celle-ci serait inexacte ou incorrecte. Dans ces conditions, la Cour cantonale n'est pas tombée dans l'arbitraire en privilégiant le document versé en procédure plutôt que celui publié sur le site de l'intimée, pour retenir que la couverture UMTS de la zone était actuellement insuffisante. Mal fondé, le grief doit être rejeté.
3. Selon les recourants, l'installation de téléphonie mobile litigieuse porte atteinte à un site d'importance nationale et cet impact ne saurait être qualifié d'anodin. Ils estiment que même si les opérateurs peuvent se prévaloir d'un intérêt public important à l'obtention d'un permis de construire, la construction d'une antenne de téléphonie mobile ne présenterait pas des intérêts supérieurs à la protection d'un objet classé d'importance nationale. En outre, il n'était à leur avis pas établi que la couverture UMTS dans le bourg de Saint-Prex était insuffisante ni que celle-ci ne puisse être assurée depuis un endroit situé à l'extérieur du site.
3.1 La ville de Saint-Prex, inscrite à l'inventaire fédéral des sites construits d'importance nationale à protéger en Suisse (ISOS; cf. ordonnance du 9 septembre 1981 concernant l'Inventaire fédéral des sites construits à protéger en Suisse [OISOS; RS 451.12]), représente un objet d'importance nationale au sens de l'art. 5 LPN.
En vertu de l'art. 6 al. 1 LPN, l'inscription d'un objet d'importance nationale dans un inventaire fédéral indique que l'objet mérite spécialement d'être conservé intact ou en tout cas d'être ménagé le plus possible. Cette disposition n'impose pas une interdiction absolue de modifier tout objet inscrit à l'ISOS; une atteinte à un bien protégé est possible dans la mesure toutefois où elle n'altère pas son identité ni ne contrevient au but assigné à sa protection (cf. Leimbacher, Commentaire LPN, n. 5 ss ad art. 6). Pour déterminer ce que signifie, dans un cas d'espèce, l'obligation de "conserver intact" un bien protégé, il faut se référer à la description, dans l'inventaire, du contenu de la protection (ATF 127 II 273 consid. 4c p. 282; 123 II 256 consid. 6a p. 263).
Lorsqu'il s'agit de l'accomplissement d'une tâche de la Confédération, la règle suivant laquelle un objet doit être conservé intact dans les conditions fixées par l'inventaire ne souffre d'exception que si des intérêts équivalents ou supérieurs, d'importance nationale également, s'opposent à cette conservation (art. 6 al. 2 LPN). Bien que le Tribunal cantonal ait laissé la question indécise, l'octroi d'une autorisation de construire une installation de téléphonie mobile constitue bel et bien une tâche de la Confédération au sens de l'art. 2 LPN (ATF 131 II 545). L'art. 6 al. 2 LPN, dès lors applicable en l'espèce, accorde un poids prioritaire à la conservation des objets d'importance nationale inventoriés; cela ne signifie cependant pas qu'aucune pesée des intérêts ne soit nécessaire, mais seuls des intérêts d'importance nationale peuvent entrer en considération pour justifier une dérogation à l'art. 6 al. 1 LPN (cf. Leimbacher, op. cit, n. 16 ad art. 6).
Le Tribunal fédéral examine en principe librement l'application de l'art. 6 LPN. Il fait toutefois preuve de retenue dans les questions mettant en cause l'appréciation de circonstances locales, que les autorités cantonales connaissent mieux que le Tribunal fédéral (cf. ATF 131 II 545 consid. 2.3 non publié; 129 I 337 consid. 4.1 p. 344 et les arrêts cités).
3.2 Dans la fiche ISOS consacrée à Saint-Prex, le bourg médiéval fortifié et le faubourg figurent dans la catégorie d'inventaire A, soit dans celle des objets dont la substance doit être sauvegardée. Par ailleurs, la plupart des constructions situées dans ces secteurs font l'objet d'une protection particulière. Ceci n'est toutefois pas le cas du bâtiment sur lequel est prévue l'installation litigieuse, qui a obtenu la note 4 lors du recensement architectural cantonal; il s'agit par conséquent d'un "objet bien intégré" avec une identité qui mérite d'être sauvegardée, mais qui ne possède pas une authenticité, ni une qualité architecturale justifiant une intervention systématique de la Section des monuments historiques en cas de travaux (cf. brochure "Recensement architectural du canton de Vaud" du Service cantonal des bâtiments, 1995, p. 17). En outre, sur le plan communal, le bâtiment en question n'est pas répertorié comme un bâtiment "protégé" (art. 7 let. a RPGA), mais uniquement comme un bâtiment "maintenu" (art. 7 let. b RPGA). Dans sa séance du 29 septembre 2007, la Commission consultative d'urbanisme de la commune de Saint-Prex, après avoir consulté les documents présentés par l'intimée et procédé à un contrôle sur place, a estimé que l'impact visuel depuis la rue était nul, car tout était caché sous toit, sauf une petite partie technique accolée à un canal de cheminée existant; la municipalité a ainsi préavisé favorablement les travaux envisagés dans un premier temps. Le Service cantonal immeubles, patrimoine et logistique, section monuments et sites, consulté dans le cadre de la synthèse CAMAC, ne s'est pas opposé au projet, se contentant de recommander que la partie visible de l'installation de téléphonie mobile soit traitée de la même couleur que la cheminée existante afin d'être la plus discrète possible; de plus, les travaux devaient être réversibles et ne pas porter atteinte au bâtiment existant. Dans son arrêt, le Tribunal cantonal a relevé que l'installation des antennes sur le toit, contre la cheminée, ne portera pas atteinte au bâtiment lui-même, respectivement à la cheminée, en raison d'un système de fixation parfaitement réversible sous forme d'un cerclage. Il a également considéré que l'aspect esthétique de l'immeuble ne sera pas péjoré, celui-ci ne subissant qu'une atteinte de minime importance: les trois antennes ne vont en effet pas dépasser du gabarit de la cheminée, ni en hauteur, ni en largeur, elles seront à peine visible de par leur faible épaisseur et leur emplacement. De plus, la couleur de la peinture prévue étant la même que la cheminée, la partie visible de l'installation se confondra avec celle-ci. Les juges cantonaux, qui ont effectué une vision locale, ont en outre souligné qu'en raison de la contiguïté des maisons du quartier et de l'étroitesse des rues, la cheminée destinée à supporter les antennes - qui se trouve en plus en retrait de la corniche - n'est visible que depuis une partie de la Grand'Rue et depuis la rue du Vieux collège, et pour autant que le regard se lève en direction des toits.
Il résulte de ce qui précède que l'installation de téléphonie mobile prévue ne représente pas une menace pour l'ensemble construit de la vieille ville de Saint-Prex qui, selon la fiche de l'inventaire ISOS, doit être sauvegardé dans sa substance. Dans la mesure où l'impact visuel de l'installation projetée sera négligeable, voire inexistant, et que les travaux n'altéreront pas le bâtiment, il apparaît que l'intimée a tout mis en oeuvre pour ménager le plus possible le site protégé de Saint-Prex et que la construction litigieuse n'y portera pas une atteinte sensible au sens de l'art. 6 al. 1 LPN. Il n'est par conséquent pas nécessaire d'examiner si le projet en question répond à un intérêt d'importance nationale équivalent ou supérieur pour être autorisé (art. 6 al. 2 LPN). Par ailleurs, l'intimée a rendu vraisemblable que la vieille ville de Saint-Prex ne bénéficiait pas d'une couverture UMTS adéquate et qu'elle n'avait trouvé aucun autre emplacement convenable à proximité du lieu choisi.
Mal fondé, le recours doit dès lors être rejeté sur ce point.
4. Les recourants font part de leurs craintes quant à l'absence de prise en compte des effets non-thermiques des rayonnements non ionisants pour la fixation des valeurs limites de l'installation. Ils citent à ce propos le rapport Bio-Initiative (publié le 31 août 2007 par un groupe de scientifiques indépendants), qui préconiserait des valeurs limites inférieures de plus de 90 % aux valeurs prescrites par l'ORNI et qui aurait été pris en compte par le Parlement européen. Ils indiquent que des jugements récents rendus par des autorités judiciaires civiles françaises auraient ordonné à plusieurs reprises le démantèlement d'installations de téléphonie mobile et que la Principauté du Liechtenstein aurait récemment adopté une législation visant à atteindre, à un horizon de quatre ans, des valeurs limites dix fois inférieures à celles en vigueur en Suisse.
Le Tribunal fédéral a, dans un arrêt de principe rendu en 2000 (ATF 126 II 399), examiné à titre préjudiciel la légalité des valeurs limites fixées dans l'ORNI et il a considéré qu'elles étaient conformes à la loi fédérale sur la protection de l'environnement; il a toutefois précisé qu'il se réservait de réexaminer la jurisprudence - ce qui pourrait amener à considérer que des valeurs limites plus sévères devraient être fixées - en cas de nouvelles connaissances scientifiques au sujet des effets sur l'organisme du rayonnement non ionisant (ATF 126 II 399 consid. 4c p. 408). Depuis lors, le Tribunal fédéral a retenu à plusieurs reprises, sur la base notamment de rapports du service spécialisé de l'administration fédérale, l'Office fédéral de l'environnement, que l'évolution de l'état de la science ne justifiait pas une nouvelle solution (cf. notamment arrêts 1A.60/2006 du 2 octobre 2006 consid. 2, 1A.142/ 2006 du 4 décembre 2006 consid. 6 et les arrêts cités). En particulier, dans un arrêt rendu en 2001 (arrêt 1A.62/2001 du 24 octobre 2001, partiellement publié aux ATF 128 I 59), il a considéré qu'il n'y avait pas lieu de tenir compte - à propos de l'appréciation de l'état des connaissances scientifiques en vue d'un éventuel réexamen de la légalité des valeurs limites de l'ORNI - d'expériences menées à Salzburg où des valeurs préventives sensiblement plus faibles ont été arrêtées (0,6 V/m), notamment parce qu'il n'était pas démontré que des valeurs si basses pouvaient effectivement être respectées (on parle à ce propos du "Salzburger Modell", ou modèle de Salzburg - consid. 3b/bb de l'arrêt 1A.62/2001).
4.1 En l'occurrence, les recourants n'ont pas allégué l'existence de nouvelles connaissances scientifiques au sujet des effets sur l'organisme du rayonnement non ionisant susceptibles de justifier un réexamen de la légalité des valeurs limites de l'ORNI. Le Tribunal cantonal pouvait donc à bon droit conclure qu'il n'y avait en l'état aucun motif de remettre en cause le bien-fondé de ces valeurs.
Par ailleurs, il ressort des observations du 14 décembre 2009 de l'Office fédéral de l'environnement que le Parlement européen a finalement renoncé, dans sa résolution à l'attention de la Commission européenne du 4 septembre 2008 ainsi que dans celle du 2 avril 2009, à demander une limitation à 0,6 V/m des valeurs limites de l'installation comme le préconisait le rapport Bio-Initiative (résolution du 4 septembre 2008 sur l'évaluation à mi-parcours du plan d'action européen en matière d'environnement et de santé 2004-2010 [INI/2007/2252] et résolution du 2 avril 2009 sur les préoccupations quant aux effets pour la santé des champs électromagnétiques [INI/2008/2211]); il a préféré donner un mandat plus général à la Commission dans le sens d'un réexamen des valeurs limites pour la téléphonie mobile faisant foi dans l'Union européenne (40 à 60 V/m) et leurs fondements scientifiques. Dans ce cadre, le Parlement européen a renvoyé expressément à la Suisse et à l'application du principe de prévention de cette dernière. De toute façon, dans un arrêt du 16 décembre 2008, le Tribunal fédéral avait déjà relevé que le rapport Bio-Initiative ne permettait pas de remettre en cause la légalité des valeurs limites de l'ORNI (arrêt 1C_92/2008 consid. 3.5). L'Office fédéral de l'environnement a également relevé qu'en France, le principe de précaution n'était pas appliqué dans le domaine de la téléphonie mobile. C'est ce constat qui avait incité certains tribunaux français à ordonner le démantèlement d'installations de téléphonie mobile existantes. Enfin, le peuple liechtensteinois avait décidé, lors de la votation du 6 décembre 2009, de refuser la législation instituant un valeur limite de l'installation à 0,6 V/m à partir de 2013, pérennisant par là même les valeurs limites de l'installation actuellement en vigueur, identiques à celles de la Suisse.
4.2 De l'avis des recourants, la règle jurisprudentielle qui découle de l'ATF 126 II 399 et selon laquelle, en cas de respect des valeurs limites de l'installation, on ne saurait exiger une limitation supplémentaire des nuisances produites par une installation de téléphonie mobile, doit être réexaminée. Elle irait à l'encontre du principe de la prévention aux termes duquel il importe, à titre préventif, de limiter les émissions dans la mesure que permettent l'état de la technique et les conditions d'exploitation et pour autant que cela soit économiquement supportable.
Pour répondre à cette argumentation qui avait déjà été soulevée devant eux, les premiers juges ont relevé à juste titre que le Tribunal fédéral, dans un arrêt récent publié aux ATF 133 II 169, n'avait pas remis en cause l'arrêt 126 II 399. Il avait au contraire confirmé que lorsque des valeurs limites sont fixées par la législation (par exemple l'ORNI qui concrétise le principe de la précaution) et que de telles valeurs sont respectée, comme c'est le cas en l'espèce, il n'y a pas lieu d'imposer à l'opérateur des mesures supplémentaires, même si celles-ci permettraient d'aller encore au-dessous des valeurs limites, sous réserve de nouvelles connaissances scientifiques. Or, comme il a été relevé au consid. 4.2 ci-dessus, en l'état actuel des connaissances, la légalité des valeurs limites de l'ORNI doit être confirmée. Il n'y a dès lors pas lieu de mettre en question la jurisprudence établie à l'ATF 126 II 399.
5. Les recourants allèguent ensuite que la construction projetée, dont les nuisances escomptées atteignent pratiquement les valeurs limites de l'installation, porterait atteinte à leurs droits fondamentaux, en particulier ceux qui découlent de l'art. 8 CEDH. Ils ne développent toutefois aucune motivation à l'appui de ce grief. Or, si le recourant se plaint de la violation de droits fondamentaux, il doit démontrer par une argumentation précise en quoi consiste la violation. Le Tribunal fédéral n'examine en effet de tels griefs que s'ils ont été invoqués et motivés (art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (ATF 134 I 83 consid. 3.2 p. 88; 133 II 249 consid. 1.4.2 p. 254; 133 IV 286 consid. 1.4 p. 287), ce qui n'est pas le cas en l'espèce. Le grief de violation de l'art. 8 CEDH est dès lors irrecevable.
6. Finalement, les recourants font valoir que le système de l'assurance de qualité (système AQ), mis en oeuvre par la circulaire de l'Office fédéral de l'environnement du 16 janvier 2006, présente des lacunes. Ils reprochent au Tribunal cantonal d'avoir éludé leurs arguments et de s'être borné à constater que l'opérateur en cause avait adhéré au système AQ et que son projet ne saurait être refusé en raison d'éventuelles imperfections de ce système. Or, le raisonnement des juges cantonaux ne prête pas le flanc à la critique. En effet, comme ils l'ont rappelé, le Tribunal fédéral a confirmé que ce système était conforme aux exigences posées par la jurisprudence en matière de contrôle effectif des immissions et qu'il constituait en principe une garantie suffisante du respect des valeurs limites de l'ORNI (arrêt 1A.191/2006 du 3 avril 2007 consid. 5 et les arrêts cités). Même si une première vérification intégrale du système a fait ressortir quelques défauts, celui-ci reste néanmoins un instrument fiable pour garantir tant une exploitation des installations de téléphonie mobile conforme au permis de construire que le respect de la valeur limite de l'installation (cf. arrêt 1C_45/2009 du 6 juillet consid. 2.3).
7. Les considérants qui précèdent conduisent au rejet du recours dans la mesure de sa recevabilité. Les recourants n'ont pas à verser de dépens (cf. art. 68 LTF) à l'intimée, celle-ci n'ayant pas été représentée par un avocat (art. 40 LTF; ATF 133 III 439 consid. 4 p. 446) et n'ayant pas établi avoir assumé des frais particuliers pour la défense de ses intérêts (cf. ATF 125 II 518 consid. 5b p. 519 s.).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge des recourants, solidairement entre eux. Il n'est pas alloué de dépens
3. Le présent arrêt est communiqué aux parties, au Département de la sécurité et de l'environnement du canton de Vaud, Service de l'environnement et de l'énergie, à la Commune de St-Prex, à B._, à C._, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, à l'Office fédéral du développement territorial, à l'Office fédéral de l'environnement, Division Droit, et à l'Office fédéral de la culture.
Lausanne, le 3 août 2010
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Aemisegger Mabillard