Faits:
A. La société A._ est propriétaire des parcelles n° 1167 et 1168 du registre foncier de la commune de St-Prex, sises au bord du lac Léman, au lieu-dit "Fraide Aigue". La partie septentrionale du bien-fonds n° 1167 est colloquée en zone de verdure arborisée, la partie médiane en zone de villas C et la partie méridionale en zone verte ainsi qu'en aire forestière, au sens du plan général d'affectation du 12 juin 1997 de la commune de St-Prex, dont la modification est entrée en vigueur le 16 février 2011 (RPGA). Cette parcelle, d'une surface de 5'542 m2, n'est pas raccordée aux égouts publics.
En mars 2009, une demande de permis de construire sur la parcelle n° 1167 une maison familiale de trois niveaux avec l'aménagement de cinq places de parc souterraines et de trois places extérieures a été déposée. Les plans prévoient également une piscine extérieure de 60 m2, une piscine intérieure de 24 m2 avec jacuzzi, un rez-de-chaussée avec notamment un appartement pour le personnel de trois pièces, un étage avec cinq chambres à coucher et autant de salles de bains. Le constructeur a en outre prévu de se raccorder à un système individuel provisoire d'épuration à installer sur la parcelle voisine n° 1168, lequel sera démantelé dès la mise en fonction du réseau communal d'égouts dans le secteur. Mis à l'enquête publique du 28 mars au 27 avril 2009, ce projet a notamment suscité l'opposition de B._ et C._, propriétaires de la parcelle voisine n° 791.
La Centrale des autorisations du Département des infrastructures du canton de Vaud a produit la synthèse des avis des services cantonaux concernés (synthèse CAMAC n° 96379), le 10 septembre 2009. Selon ce document, le Service des eaux, sols et assainissement du canton de Vaud (ci-après: le SESA) a délivré l'autorisation spéciale permettant la construction d'une installation provisoire de traitement des eaux sur la parcelle n° 1168 jusqu'à la réalisation par la commune du collecteur communal d'égouts, en l'assortissant de conditions impératives.
Par décision du 12 mars 2010, la Municipalité de St-Prex (ci-après: la Municipalité) a délivré le permis de construire sollicité et levé l'opposition de B._ et C._.
B. Le 26 avril 2010, B._ et C._ ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Le 23 septembre 2010, le SESA a informé le bureau mandaté pour aménager le système individuel d'épuration des préavis favorables de ses différentes divisions.
Le Tribunal cantonal a procédé à une inspection locale le 23 février 2011.
Par décision du 31 mars 2011, le Département de la sécurité et de l'environnement du canton de Vaud a délivré l'autorisation «de déverser dans le sous-sol les eaux usées provenant des bâtiments situés au lieu-dit "Fraide Aigue", ceci après traitement par une fosse de décantation». Les autorités cantonales ont ensuite accordé les autorisations requises pour l'installation d'un système individuel provisoire d'épuration sur la parcelle n° 1168 (synthèse CAMAC du 9 mai 2011). La Municipalité a octroyé le permis de construire y relatif le 16 mai 2011, sans mise à l'enquête publique.
Dans l'intervalle, le 9 mai 2011, la Municipalité a informé le SESA qu'elle suspendait le projet de construction du collecteur communal des eaux usées. Le SESA a répondu, le 17 mai 2011, qu'au vu de ce fait nouveau important, il constatait la persistance d'une situation de non-respect de la loi fédérale sur la protection des eaux du 24 janvier 1991 (LEaux; RS 814.20) dans le secteur litigieux et s'opposerait dorénavant à la "délivrance de tous les permis de construire ou de transformations d'habitations déposés dans ce secteur qui pourraient aggraver la situation dans le domaine qui relève de [sa] compétence".
Par arrêt du 30 août 2011, le Tribunal cantonal a admis le recours déposé par B._ et C._ et annulé la décision de la Municipalité du 12 mars 2010. Il a considéré en substance que les conditions de l'<ref-law>, permettant une dérogation de raccordement aux canalisations d'égouts publics n'étaient pas remplies. Il a également jugé que le projet excédait le coefficient d'occupation du sol admis dans la zone concernée.
C. Agissant par les voies du recours en matière de droit public et du recours constitutionnel subsidiaire, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 30 août 2011, en ce sens que la décision de la Municipalité du 12 mars 2010 est confirmée. Elle conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouveau jugement dans le sens des considérants.
Les intimés, le Tribunal cantonal et l'Office fédéral de l'environnement (ci-après: l'OFEV) concluent au rejet du recours, alors que la Municipalité conclut à son admission. Le Tribunal cantonal s'est déterminé sur les observations de l'OFEV et de la Municipalité, le 2 mars 2012. La recourante a répliqué par courrier du 5 mars 2012. Par lettre du 23 mai 2012, elle a produit un courrier de la Municipalité daté du 21 mai 2012.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. La recourante a pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaire d'une parcelle pour laquelle un permis de construire a été annulé, elle peut se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Elle a dès lors qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité étant par ailleurs réunies, la voie du recours en matière de droit public est ouverte, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
2. Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Cette exclusion vaut non seulement pour les faits postérieurs à la décision attaquée, mais également pour ceux que les parties ont omis d'alléguer dans la procédure cantonale. Ces dernières sont en effet tenues de présenter devant les instances précédentes tous les faits qui leur paraissent pertinents et d'offrir les moyens de preuve adéquats (Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 p. 4137).
La lettre de la Municipalité datée du 21 mai 2012, produite par la recourante, est postérieure au prononcé de l'arrêt attaqué. Il s'agit donc d'un vrai novum, qui échappe à la cognition du Tribunal fédéral (<ref-ruling> consid. 2.2 p. 344). Il n'en sera dès lors pas tenu compte.
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, la recourante se plaint d'une violation de son droit d'être entendue, plus précisément de son droit à pouvoir prendre connaissance du rapport de la Ville de Lausanne de janvier 2011 et de celui du groupement Holinger SA daté de juin 2011 concernant le traitement des micropolluants dans les eaux usées. Elle reproche à l'instance précédente d'avoir retenu qu'une installation provisoire autonome ne permettrait pas de garantir le but de protection des eaux, notamment en raison de la proximité avec le lac et de son inaptitude à lutter contre les micropolluants. Elle prétend que si elle avait été interpellée par la cour cantonale sur cette problématique, elle aurait pu démontrer que la question des micropolluants était couverte et que l'installation ne présentait aucun risque pour le lac. Elle fait encore grief au Tribunal cantonal d'avoir procédé à une appréciation arbitraire du contenu desdits rapports, sans lien avec le dossier en cause.
3.1 Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit de toute partie de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, le droit d'avoir accès au dossier, de produire des preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur leur résultat lorsque ceci est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293 et les références citées).
3.2 En l'espèce, les rapports susmentionnés ont été cités par l'instance cantonale dans le cadre de l'examen du principe de la proportionnalité en application de l'<ref-law>. La question de l'adéquation de l'installation à la protection des eaux relève en réalité de l'examen d'une des conditions à remplir pour bénéficier d'une dérogation au sens de l'<ref-law>, soit celle de savoir si "les eaux usées sont évacuées de manière satisfaisante". Or, vu le raisonnement qui suit, il n'est pas nécessaire d'examiner cette condition, la première des conditions cumulatives pour l'octroi d'une dérogation au sens de l'<ref-law> n'étant pas remplie (cf. infra consid. 6). Par conséquent, l'étude de ces rapports ne permettrait pas de trancher différemment la question de l'application de l'<ref-law>.
Ainsi, faute d'avoir une influence sur l'issue du litige, le grief de la violation du droit d'être entendu doit être écarté.
4. La recourante prétend ensuite que l'instance précédente a appliqué arbitrairement l'art. 75 let. a de la loi cantonale sur la procédure administrative du 28 octobre 2008 (LPA/VD; RSV 173.36), en retenant que les intimés avaient un intérêt digne de protection à se plaindre de l'absence d'équipement d'une parcelle voisine.
4.1 A teneur de l'art. 75 let. a LPA/VD, a qualité pour former recours toute personne physique ou morale ayant pris part à la procédure devant l'autorité précédente ou ayant été privée de la possibilité de le faire, qui est atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à ce qu'elle soit annulée ou modifiée.
Appelé à revoir l'interprétation d'une norme de droit cantonal ou de droit communal sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.4 p. 5 et les arrêts cités).
4.2 Selon la jurisprudence rendue en application de l'<ref-law> dont la teneur est plus restrictive que celle de l'art. 75 let. a LPA/VD, le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. La proximité avec l'objet du litige ne suffit cependant pas à elle seule à conférer au voisin la qualité pour recourir contre une autorisation de construire. Celui-ci doit en outre retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire (<ref-ruling> consid. 2 p. 32 ss et les références).
En particulier, un intérêt pratique et concret d'un voisin à se plaindre de l'absence d'équipement d'une parcelle voisine a été reconnu, dans la mesure où en cas d'admission de ce grief le projet de construction ne serait pas réalisé (arrêt 1C_236/2010 du 16 juillet 2010 consid. 1.5, in ZBl 2011 p. 608; s'agissant du raccordement aux conduites d'évacuation des eaux usées, arrêt 1C_165/2010 du 18 novembre 2010 consid. 2.4, in URP 2011 p. 10).
4.3 La question est de savoir si, indépendamment du but de protection de la norme invoquée, la recourante retire un avantage pratique à ce que la construction voisine ne soit pas autorisée. En l'occurrence, l'absence d'équipement de la parcelle conduirait à l'interdiction de construire la villa litigieuse, de sorte que la qualité pour recourir des voisins est donnée. Le Tribunal cantonal n'a donc pas versé dans l'arbitraire en considérant que les intimés, propriétaires d'une parcelle contiguë supportant une habitation, avaient un intérêt digne de protection au sens de l'art. 75 let. a LPA/VD à contester le projet litigieux, en mettant en cause l'équipement du bien-fonds.
5. La recourante dénonce une application insoutenable des règles sur le calcul du coefficient d'occupation du sol (COS). Elle se plaint notamment d'une application arbitraire de l'art. 94 RPGA.
Il n'est pas contesté que la surface constructible déterminante est de 3'777 m2 et que la surface bâtie maximale ne peut excéder 396,58 m2, en application des art. 55 al. 2 RPGA et 97 al. 4 de la loi cantonale sur l'aménagement du territoire et les constructions du 4 décembre 1985 (LATC; RSV 700.11). Le litige porte uniquement sur la prise en compte d'un patio de 28,34 m2 dans le calcul du coefficient d'occupation du sol.
5.1 Le Tribunal fédéral revoit l'interprétation d'une norme de droit cantonal ou communal sous l'angle de l'arbitraire (cf. supra consid. 4.1). Il s'impose une certaine retenue lorsqu'il doit se prononcer sur de pures questions d'appréciation ou tenir compte de circonstances locales, dont les autorités cantonales ont une meilleure connaissance que lui (cf. <ref-ruling> consid. 6.1 p. 181; <ref-ruling> consid. 4.3 p. 416 et les arrêts cités).
5.2 L'art. 94 RPGA prévoit que:
La surface bâtie est mesurée sur le plan du niveau de la plus grande surface.
Dans le calcul des rapports entre la surface bâtie et la surface de la parcelle, il est tenu compte des garages et dépendances, même s'ils sont semi-enterrés, des terrasses couvertes, etc., s'ils font corps avec le bâtiment principal. Les garages complètement enterrés ne sont pas comptés dans la surface bâtie. Ils peuvent être construits en limite de propriété.
Jusqu'à une profondeur de 1,80 m, les balcons ne sont pas comptés dans la surface bâtie.
Les piscines peuvent être implantées à une distance de 3 m au minimum de la limite de la propriété voisine, si leurs bords ne dépassent pas de plus de 50 cm le niveau du terrain naturel, et ce au point le plus élevé. Dans ce cas, elles n'entrent pas dans le calcul de la surface constructible. Dans les autres cas, elles sont assimilables à des constructions et doivent respecter les conditions de la zone où elles sont implantées. Les piscines couvertes, même provisoirement, sont assimilables à des constructions et doivent respecter les règles de la zone où elles sont implantées.
Le coefficient d'occupation du sol, qui impose un rapport maximum entre la surface bâtie et la surface de la parcelle, tend à assurer une proportion raisonnable entre les parties construites d'une parcelle et les espaces libres de construction (Zen-Ruffinen/Guy-Ecabert, Aménagement du territoire, construction, expropriation, 2001, p. 384, n. 878).
5.3 En l'espèce, le patio litigieux constitue un puits rectangulaire de 28,34 m2 au centre de la villa, qui comporte à cet endroit trois niveaux représentant 9 m de hauteur au total.
L'instance cantonale s'est fondée sur le but du COS (cf. supra consid. 5.2) pour prendre en compte le patio litigieux, surface entièrement fermée de quatre côtés et totalement invisible à tout observateur hors du bâtiment. Elle a relevé que, bien qu'il ne comportât ni couverture, ni fondation, un tel patio intérieur devait être considéré comme une partie intégrante du bâtiment puisqu'il ne dégageait pas de surface extérieure au bâtiment, contrairement aux autres ouvrages usuellement soustraits au COS, soit notamment les garages complètement enterrés, les balcons ou les terrasses non couvertes. Le Tribunal cantonal a ajouté qu'exclure un tel patio du COS permettait d'étendre le périmètre extérieur du bâtiment, de sorte qu'aux yeux d'un observateur extérieur, auquel l'existence du patio est totalement celée, le rapport voulu entre espaces bâtis et espaces libres de construction n'était pas respecté. Or, l'aménagement de dégagements visé par le COS ne sert pas uniquement les intérêts privés des occupants d'un bâtiment déterminé, mais aussi l'intérêt public à la qualité du milieu bâti et à des espaces vierges de construction.
Face à cette argumentation, la recourante se contente de faire valoir que la Municipalité avait assimilé à juste titre le patio à une terrasse non couverte: le but du COS serait de s'assurer du respect de certaine proportion de la surface construite, soit de l'emprise objective sur le sol et non d'une perception relative. Cette critique ne démontre cependant pas en quoi il serait arbitraire de traiter différemment une terrasse qui se trouve à l'extérieur d'un bâtiment d'un patio qui se trouve entièrement à l'intérieur de l'immeuble. Le fait que la réglementation communale ne précise pas la manière dont ce type d'espace ouvert serait pris en compte dans la surface bâtie qui détermine le COS n'établit pas non plus que la solution à laquelle la cour cantonale est parvenue a été adoptée sans motifs objectifs.
Par conséquent, le Tribunal cantonal n'a pas versé dans l'arbitraire en prenant en compte le patio dans le calcul du COS, au motif notamment qu'un espace situé au centre d'une villa, fermé de tous côtés et invisible à tout observateur extérieur, permettait d'étendre le périmètre extérieur du bâtiment.
6. Il n'est pas contesté que le projet de construction se trouve en zone à bâtir, que le raccordement aux égouts publics est obligatoire et que la parcelle n° 1167 n'est pas reliée aux canalisations publiques, de sorte qu'un permis de construire suppose l'octroi d'une dérogation au sens de l'<ref-law>. A cet égard, la recourante prétend que les conditions d'application de cette disposition sont remplies en l'espèce, de manière à ce qu'une dérogation à l'obligation de raccordement aux égouts publics aurait dû être admise.
La recourante invoque également le principe de la proportionnalité, sous l'angle de l'art. 26 Cst. Ce grief se confond en réalité avec celui de la violation de l'<ref-law>. Cette norme a en effet précisément pour but de renoncer à l'obligation de raccordement, pour les cas où des raisons impérieuses le justifient. Par conséquent, ces griefs seront examinés ensemble.
6.1 Conformément à l'art. 22 al. 2 let. b LAT, l'autorisation de construire n'est délivrée que si le terrain est équipé. A teneur de l'art. 19 al. 1 LAT, un terrain est réputé équipé lorsqu'il est desservi d'une manière adaptée à l'utilisation prévue par des voies d'accès et par des conduites auxquelles il est possible de se raccorder sans frais disproportionnés pour l'alimentation en eau et en énergie, ainsi que pour l'évacuation des eaux usées. L'alinéa 3 de cette disposition prévoit que si la collectivité intéressée n'équipe pas les zones à bâtir dans les délais prévus, elle doit permettre aux propriétaires fonciers d'équiper eux-mêmes leur terrain selon les plans approuvés par elle ou les autoriser à lui avancer les frais des équipements selon les dispositions du droit cantonal.
S'agissant du raccordement aux canalisations, l'<ref-law> dispose que les cantons veillent à la construction des réseaux d'égouts publics et des stations centrales d'épuration des eaux usées provenant des zones à bâtir. Dans le périmètre des égouts publics, un permis de construire ou de transformer un bâtiment ne peut être accordé que si le déversement des eaux polluées dans les égouts, selon l'art. 11 al. 1 de la loi, est assuré (<ref-law>). Toutefois, aux termes de l'<ref-law>, pour de petits bâtiments et installations situés dans le périmètre des égouts publics mais ne pouvant pas, pour des raisons impérieuses, être immédiatement raccordées au réseau, le permis de construire peut être délivré si le raccordement est possible à brève échéance et si les eaux usées sont évacuées de manière satisfaisante dans l'intervalle; l'autorité consulte le service cantonal de la protection des eaux avant de délivrer le permis (al. 1); le Conseil fédéral peut préciser les conditions à remplir (al. 2).
Selon le Message du Conseil fédéral du 29 avril 1987 concernant l'initiative populaire "Pour la sauvegarde de nos eaux" et la révision de la LEaux, les art. 17 et 18 LEaux peuvent se réduire à de simples conditions liées à la technique d'évacuation des eaux usées, dès lors que la LAT règle l'obtention du permis de construire (FF 1987 II 1081 ss, 1143). Il en découle, selon la jurisprudence, que la question de savoir si l'on est en présence d'un "petit bâtiment" au sens de l'<ref-law> doit être appréciée du point de vue de la protection des eaux. En d'autres termes, un grand bâtiment en termes de surface peut être qualifié de petit bâtiment au sens de l'<ref-law>, s'il ne produit qu'une faible quantité d'eaux usées (arrêt 1C_165/2010 du 18 novembre 2010 consid. 5.3, in URP 2011 p. 10).
L'<ref-law> correspond à l'art. 19 de l'ancienne loi fédérale sur la protection des eaux contre la pollution du 8 octobre 1971 (aLPEP, RO 1972 I 958), abrogée à la suite de l'adoption de la LEaux (<ref-law>). Le Message du Conseil fédéral du 26 août 1970 concernant l'aLPEP mentionne au sujet de l'art. 19 aLPEP que, lorsqu'il s'agit de constructions situées dans le périmètre des canalisations prévues par le plan directeur, la possibilité du raccordement au réseau de collecteurs publics doit constituer le critère déterminant. Etant donné que, dans de nombreuses communes, les travaux d'aménagement du réseau de canalisations souffrent de retard, il est indiqué de prévoir des exceptions en faveur de petites constructions ne déversant que des petites quantités très limitées d'eaux usées, à la condition que le raccordement au collecteur puisse être réalisé dans un délai relativement bref (FF 1970 II 429 s., 457).
6.2 En l'occurrence, se fondant sur une estimation fournie par le bureau géotechnique mandaté par la constructrice pour réaliser le système individuel provisoire d'épuration des eaux, le Tribunal cantonal a retenu que la villa litigieuse produira 4'700 litres d'eaux usées par jour, compte tenu de 10 équivalents-habitants, des piscines et du spa. Il a considéré qu'il s'agissait d'une quantité plus de cinq fois supérieure à celle qualifiée par l'OFEV de "plutôt petite" dans l'arrêt précité du 18 novembre 2010 (cf. consid. 5.4.1 "eher kleinen Abwasseranfall"). Il en a déduit que la villa litigieuse ne pouvait être qualifiée de "petit bâtiment" au sens de l'<ref-law>.
La directive "Stations d'épuration à faible capacité", éditée en 1995 par l'Association suisse des professionnels de la protection des eaux a établi des valeurs de dimensionnement pour mesurer la production d'eaux usées d'un bâtiment. Elle a précisé qu'un équivalent-habitant correspondait à 170 litres d'eaux usées par jour (p. 57).
Selon l'OFEV, la limite supérieure acceptable pour qualifier de "petit" un bâtiment d'habitation se situe vers les 4 à 5 équivalents-habitants, soit une quantité de 680 à 850 litres d'eaux usées par jour. Dès lors, la villa litigieuse qui fait état de 4'700 litres d'eaux usées par jour (comprenant 10 équivalents-habitants, deux piscines et un spa) ne peut être qualifiée de "petit bâtiment" au sens de la LEaux. Par conséquent, c'est à juste titre que le Tribunal cantonal a jugé que la villa litigieuse n'était pas un "petit bâtiment" au sens de l'<ref-law>. Le fait que le SESA, dans son préavis du 23 septembre 2010 favorable à l'aménagement d'un système individuel d'épuration sur la parcelle n° 1168, ait traduit l'équivalent-habitant en m2 d'infiltration d'eau et non en litres d'eau n'y change rien, car il s'agissait alors de l'application de l'<ref-law> dans le cadre de l'octroi d'une autorisation pour le déversement d'eaux usées traitées dans le sous-sol.
6.3 Dans la mesure où la première des conditions cumulatives posées à l'octroi d'une dérogation au sens de l'<ref-law> n'est pas remplie, il n'y a pas lieu d'examiner les autres conditions.
7. La recourante se dit aussi victime d'une inégalité de traitement (art. 8 Cst.) par rapport aux propriétaires de villas voisines qui ont obtenu une autorisation de déversement des eaux usées via une installation de prétraitement ou qui ne disposent pas d'autorisation cantonale et dont le SESA ne connaît pas les conditions d'évacuation des eaux usées. Elle estime pouvoir être mise au bénéfice du principe de l'égalité dans l'illégalité, aux motifs que le SESA a établi une pratique constante visant à délivrer des autorisations spéciales pour des installations particulières dans la zone en question et que l'intérêt public de la protection des eaux n'est pas mis en péril.
7.1 Le principe de la légalité de l'activité administrative (cf. art. 5 al. 1 Cst.) prévaut sur celui de l'égalité de traitement (<ref-ruling> consid. 6a p. 392). En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité de traitement, lorsque la loi est correctement appliquée à son cas, alors qu'elle l'aurait été faussement, voire pas appliquée du tout dans d'autres cas semblables. Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question; le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi (<ref-ruling> consid. 9 p. 121 et les références citées). Si l'autorité ne s'exprime pas sur ses intentions futures, le Tribunal fédéral présumera qu'elle se conformera au jugement qu'il aura rendu (cf. <ref-ruling> consid. 2 p. 83 et les références citées). Encore faut-il qu'il n'existe pas un intérêt public prépondérant au respect de la légalité qui conduise à donner la préférence à celle-ci au détriment de l'égalité de traitement, ni d'ailleurs qu'aucun intérêt privé de tiers prépondérant ne s'y oppose (<ref-ruling> consid. 3c p. 254; <ref-ruling> consid. 2 p. 83 et les références citées). La jurisprudence a également précisé qu'il était nécessaire que l'autorité n'ait pas respecté la loi, non pas dans un cas isolé, ni même dans plusieurs cas, mais selon une pratique constante (<ref-ruling> consid. 8.6 p. 510). C'est seulement lorsque toutes ces conditions sont remplies que le citoyen est en droit de prétendre, à titre exceptionnel, au bénéfice de l'égalité dans l'illégalité.
7.2 En l'occurrence, la recourante ne démontre pas que les bâtiments auxquels elle se réfère ont été érigés après l'entrée en vigueur de l'obligation de raccordement aux canalisations publiques. De plus, l'intention de poursuivre une pratique illégale n'a, en l'état, pas été manifestée dès lors que le SESA a indiqué, dans son courrier du 17 mai 2011, qu'il s'opposerait dorénavant à la "délivrance de tous les permis de construire ou de transformations d'habitations déposés dans ce secteur qui pourraient aggraver la situation dans le domaine qui relève de [sa] compétence". Une violation de l'égalité de traitement n'est donc, au vu du dossier, pas démontrée par la recourante.
8. Il s'ensuit que le recours en matière de droit public est rejeté dans la mesure de sa recevabilité et que le recours constitutionnel subsidiaire est irrecevable. Les frais judiciaires sont mis à la charge de la recourante qui succombe (art. 65 et 66 LTF). Elle versera en outre des dépens aux intimés, qui obtiennent gain de cause avec l'assistance d'un avocat (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité.
3. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge de la recourante.
4. Une indemnité de 3'000 francs est allouée aux intimés à titre de dépens, à la charge de la recourante.
5. Le présent arrêt est communiqué aux mandataires de la recourante, des intimés et de la Municipalité de St-Prex, au Service des eaux, sols et assainissement et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de l'environnement.
Lausanne, le 18 juin 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller