Faits:
A. A._ est propriétaire de la parcelle n° 1169 du registre foncier de la commune de St-Prex, sise au bord du lac Léman, au lieu-dit "Fraide Aigue". La partie septentrionale de ce bien-fonds est colloquée en zone de verdure arborisée, la partie médiane en zone de villas C et la partie méridionale en zone verte, au sens du plan général d'affectation du 12 juin 1997 de la commune de St-Prex, dont la modification est entrée en vigueur le 16 février 2011. Cette parcelle, d'une surface de 5'345 m2, n'est pas raccordée aux égouts publics.
En janvier 2009, une demande de permis de construire sur la parcelle n° 1169 une maison familiale avec l'aménagement de dix places de parc souterraines et de trois places extérieures a été déposée. Mis à l'enquête publique du 31 janvier au 2 mars 2009, ce projet a notamment suscité l'opposition de B._, propriétaire de la parcelle voisine n° 235. Le projet a été modifié le 10 juin 2009, à la suite du préavis négatif du Service du développement territorial du canton de Vaud. Selon ces nouveaux plans, la villa projetée comporterait trois étages, inclurait une piscine intérieure d'environ 35 m2, un jacuzzi, cinq chambres à coucher et autant de salles de bains. Le constructeur a en outre prévu de se raccorder à un système individuel provisoire d'épuration à installer sur la parcelle voisine n° 1168, lequel sera démantelé dès la mise en fonction du réseau communal d'égouts dans le secteur.
La Centrale des autorisations du Département des infrastructures du canton de Vaud a produit la synthèse des avis des services cantonaux concernés (synthèse CAMAC n° 93015), le 10 septembre 2009. Selon ce document, le Service des eaux, sols et assainissement du canton de Vaud (ci-après: le SESA) a délivré l'autorisation spéciale permettant la construction d'une installation provisoire de traitement des eaux sur la parcelle n° 1168 jusqu'à la réalisation par la commune du collecteur communal d'égouts, en l'assortissant de conditions impératives.
Par décision du 12 mars 2010, la Municipalité de St-Prex (ci-après: la Municipalité) a délivré le permis de construire sollicité et levé l'opposition de B._.
B. Le 12 avril 2010, B._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal).
Le 23 septembre 2010, le SESA a informé le bureau mandaté pour aménager le système individuel d'épuration des préavis favorables de ses différentes divisions.
Le Tribunal cantonal a procédé à une inspection locale le 23 février 2011.
Par décision du 31 mars 2011, le Département de la sécurité et de l'environnement du canton de Vaud a délivré l'autorisation «de déverser dans le sous-sol les eaux usées provenant des bâtiments situés au lieu-dit "Fraide Aigue", ceci après traitement par une fosse de décantation». Les autorités cantonales ont ensuite attribué les autorisations requises pour l'installation d'un système individuel provisoire d'épuration sur la parcelle n° 1168 (synthèse CAMAC du 9 mai 2011). La Municipalité a octroyé le permis de construire y relatif le 16 mai 2011, sans mise à l'enquête publique.
Dans l'intervalle, le 9 mai 2011, la Municipalité a informé le SESA qu'elle suspendait le projet de construction du collecteur communal des eaux usées. Le SESA a répondu, le 17 mai 2011, qu'au vu de ce fait nouveau important, il constatait la persistance d'une situation de non-respect de la loi fédérale sur la protection des eaux du 24 janvier 1991 (LEaux; RS 814.20) dans le secteur litigieux et s'opposerait dorénavant à la "délivrance de tous les permis de construire ou de transformations d'habitations déposés dans ce secteur qui pourraient aggraver la situation dans le domaine qui relève de [sa] compétence".
Par arrêt du 30 août 2011, le Tribunal cantonal a admis le recours déposé par B._ et annulé la décision de la Municipalité du 12 mars 2010. Il a considéré en substance que les conditions de l'<ref-law>, permettant une dérogation de raccordement aux canalisations d'égouts publics n'étaient pas remplies.
C. Agissant par les voies du recours en matière de droit public et du recours constitutionnel subsidiaire, A._ demande principalement au Tribunal fédéral de réformer l'arrêt du 30 août 2011, en ce sens que la décision de la Municipalité du 12 mars 2010 est confirmée. Il conclut subsidiairement à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour instruction complémentaire et nouveau jugement dans le sens des considérants.
L'intimé conclut au rejet du recours, dans la mesure de sa recevabilité. Le Tribunal cantonal et l'Office fédéral de l'environnement (ci-après: l'OFEV) concluent au rejet du recours. La Municipalité conclut à l'admission du recours. L'intimé a présenté des observations le 24 février 2012. Le Tribunal cantonal s'est déterminé sur les observations de l'OFEV et de la Municipalité, le 2 mars 2012. Le recourant a répliqué par courrier du 5 mars 2012. Par lettre du 23 mai 2012, il a produit un courrier de la Municipalité daté du 21 mai 2012.

Considérant en droit:
1. Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans le domaine du droit public des constructions (<ref-law>), le recours est en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a pris part à la procédure de recours devant le Tribunal cantonal. En tant que propriétaire d'une parcelle pour laquelle un permis de construire a été annulé, il peut se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Il a dès lors qualité pour agir au sens de l'<ref-law>.
Les autres conditions de recevabilité étant par ailleurs réunies, la voie du recours en matière de droit public est ouverte, ce qui entraîne l'irrecevabilité du recours constitutionnel subsidiaire (<ref-law>).
2. Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Cette exclusion vaut non seulement pour les faits postérieurs à la décision attaquée, mais également pour ceux que les parties ont omis d'alléguer dans la procédure cantonale. Ces dernières sont en effet tenues de présenter devant les instances précédentes tous les faits qui leur paraissent pertinents et d'offrir les moyens de preuve adéquats (Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 p. 4137).
La lettre de la Municipalité datée du 21 mai 2012, produite par le recourant, est postérieure au prononcé de l'arrêt attaqué. Il s'agit donc d'un vrai novum, qui échappe à la cognition du Tribunal fédéral (<ref-ruling> consid. 2.2 p. 344). Il n'en sera dès lors pas tenu compte.
3. Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint d'une violation de son droit d'être entendu, plus précisément de son droit à pouvoir prendre connaissance du rapport de la Ville de Lausanne de janvier 2011 et de celui du groupement Holinger SA daté de juin 2011 concernant le traitement des micropolluants dans les eaux usées. Il reproche à l'instance précédente d'avoir retenu qu'une installation provisoire autonome ne permettrait pas de garantir le but de protection des eaux, notamment en raison de la proximité avec le lac et de son inaptitude à lutter contre les micropolluants. Il prétend que s'il avait été interpellé par la cour cantonale sur cette problématique, il aurait pu démontrer que la question des micropolluants était couverte et que l'installation ne présentait aucun risque pour le lac.
Il fait encore grief au Tribunal cantonal d'avoir procédé à une appréciation arbitraire du contenu desdits rapports, sans lien avec le dossier en cause.
3.1 Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit de toute partie de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, le droit d'avoir accès au dossier, de produire des preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur leur résultat lorsque ceci est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.1 p. 293 et les références citées).
3.2 En l'espèce, les rapports susmentionnés ont été cités par l'instance cantonale dans le cadre de l'examen du principe de la proportionnalité en application de l'<ref-law>. La question de l'adéquation de l'installation à la protection des eaux relève en réalité de l'examen d'une des conditions à remplir pour bénéficier d'une dérogation au sens de l'<ref-law>, soit celle de savoir si "les eaux usées sont évacuées de manière satisfaisante". Or, vu le raisonnement qui suit, il n'est pas nécessaire d'examiner cette condition, la première des conditions cumulatives pour l'octroi d'une dérogation au sens de l'<ref-law> n'étant pas remplie (cf. infra consid. 5). Par conséquent, l'étude de ces rapports ne permettrait pas de trancher différemment la question de l'application de l'<ref-law>.
Ainsi, faute d'avoir une influence sur l'issue du litige, le grief de la violation du droit d'être entendu doit être écarté.
4. Le recourant prétend ensuite que l'instance précédente a appliqué arbitrairement l'art. 75 let. a de la loi cantonale sur la procédure administrative du 28 octobre 2008 (LPA/VD; RSV 173.36), en retenant que l'intimé avait un intérêt digne de protection à se plaindre de l'absence d'équipement d'une parcelle voisine.
4.1 A teneur de l'art. 75 let. a LPA/VD, a qualité pour former recours toute personne physique ou morale ayant pris part à la procédure devant l'autorité précédente ou ayant été privée de la possibilité de le faire, qui est atteinte par la décision attaquée et qui dispose d'un intérêt digne de protection à ce qu'elle soit annulée ou modifiée.
Appelé à revoir l'interprétation d'une norme de droit cantonal ou de droit communal sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - éventuellement plus judicieuse - paraît possible (<ref-ruling> consid. 2.4 p. 5 et les arrêts cités).
4.2 Selon la jurisprudence rendue en application de l'<ref-law> dont la teneur est plus restrictive que celle de l'art. 75 let. a LPA/VD, le recourant doit se trouver dans une relation spéciale, étroite et digne d'être prise en considération avec l'objet de la contestation. La proximité avec l'objet du litige ne suffit cependant pas à elle seule à conférer au voisin la qualité pour recourir contre une autorisation de construire. Celui-ci doit en outre retirer un avantage pratique de l'annulation ou de la modification de la décision contestée qui permette d'admettre qu'il est touché dans un intérêt personnel se distinguant nettement de l'intérêt général des autres habitants de la collectivité concernée de manière à exclure l'action populaire (<ref-ruling> consid. 2 p. 32 ss et les références).
En particulier, un intérêt pratique et concret d'un voisin à se plaindre de l'absence d'équipement d'une parcelle voisine a été reconnu, dans la mesure où en cas d'admission de ce grief le projet de construction ne serait pas réalisé (arrêt 1C_236/2010 du 16 juillet 2010 consid. 1.5, in ZBl 2011 p. 608; s'agissant du raccordement aux conduites d'évacuation des eaux usées, arrêt 1C_165/2010 du 18 novembre 2010 consid. 2.4, in URP 2011 p. 10).
4.3 La question est de savoir si, indépendamment du but de protection de la norme invoquée, le recourant retire un avantage pratique à ce que la construction voisine ne soit pas autorisée. En l'occurrence, l'absence d'équipement de la parcelle conduirait à l'interdiction de construire la villa litigieuse, de sorte que la qualité pour recourir du voisin est donnée. Le Tribunal cantonal n'a donc pas versé dans l'arbitraire en considérant que l'intimé, propriétaire d'une parcelle contiguë supportant une habitation, avait un intérêt digne de protection au sens de l'art. 75 let. a LPA/VD à contester le projet litigieux, en mettant en cause l'équipement du bien-fonds.
5. Il n'est pas contesté que le projet de construction se trouve en zone à bâtir, que le raccordement aux égouts publics est obligatoire et que la parcelle n° 1169 n'est pas reliée aux canalisations publiques, de sorte qu'un permis de construire suppose l'octroi d'une dérogation au sens de l'<ref-law>. A cet égard, le recourant prétend que les conditions d'application de cette disposition sont remplies en l'espèce, de manière à ce qu'une dérogation à l'obligation de raccordement aux égouts publics aurait dû être admise.
Le recourant invoque également le principe de la proportionnalité, sous l'angle de l'art. 26 Cst. Ce grief se confond en réalité avec celui de la violation de l'<ref-law>. Cette norme a en effet précisément pour but de renoncer à l'obligation de raccordement, pour les cas où des raisons impérieuses le justifient. Par conséquent, ces griefs seront examinés ensemble.
5.1 Conformément à l'art. 22 al. 2 let. b LAT, l'autorisation de construire n'est délivrée que si le terrain est équipé. A teneur de l'art. 19 al. 1 LAT, un terrain est réputé équipé lorsqu'il est desservi d'une manière adaptée à l'utilisation prévue par des voies d'accès et par des conduites auxquelles il est possible de se raccorder sans frais disproportionnés pour l'alimentation en eau et en énergie, ainsi que pour l'évacuation des eaux usées. L'alinéa 3 de cette disposition prévoit que si la collectivité intéressée n'équipe pas les zones à bâtir dans les délais prévus, elle doit permettre aux propriétaires fonciers d'équiper eux-mêmes leur terrain selon les plans approuvés par elle ou les autoriser à lui avancer les frais des équipements selon les dispositions du droit cantonal.
S'agissant du raccordement aux canalisations, l'<ref-law> dispose que les cantons veillent à la construction des réseaux d'égouts publics et des stations centrales d'épuration des eaux usées provenant des zones à bâtir. Dans le périmètre des égouts publics, un permis de construire ou de transformer un bâtiment ne peut être accordé que si le déversement des eaux polluées dans les égouts, selon l'art. 11 al. 1 de la loi, est assuré (<ref-law>). Toutefois, aux termes de l'<ref-law>, pour de petits bâtiments et installations situés dans le périmètre des égouts publics mais ne pouvant pas, pour des raisons impérieuses, être immédiatement raccordées au réseau, le permis de construire peut être délivré si le raccordement est possible à brève échéance et si les eaux usées sont évacuées de manière satisfaisante dans l'intervalle; l'autorité consulte le service cantonal de la protection des eaux avant de délivrer le permis (al. 1); le Conseil fédéral peut préciser les conditions à remplir (al. 2).
Selon le Message du Conseil fédéral du 29 avril 1987 concernant l'initiative populaire "Pour la sauvegarde de nos eaux" et la révision de la LEaux, les art. 17 et 18 LEaux peuvent se réduire à de simples conditions liées à la technique d'évacuation des eaux usées, dès lors que la LAT règle l'obtention du permis de construire (FF 1987 II 1081 ss, 1143). Il en découle, selon la jurisprudence, que la question de savoir si l'on est en présence d'un "petit bâtiment" au sens de l'<ref-law> doit être appréciée du point de vue de la protection des eaux. En d'autres termes, un grand bâtiment en termes de surface peut être qualifié de petit bâtiment au sens de l'<ref-law>, s'il ne produit qu'une faible quantité d'eaux usées (arrêt 1C_165/2010 du 18 novembre 2010 consid. 5.3, in URP 2011 p. 10).
L'<ref-law> correspond à l'art. 19 de l'ancienne loi fédérale sur la protection des eaux contre la pollution du 8 octobre 1971 (aLPEP, RO 1972 I 958), abrogée à la suite de l'adoption de la LEaux (<ref-law>). Le Message du Conseil fédéral du 26 août 1970 concernant l'aLPEP mentionne au sujet de l'art. 19 aLPEP que, lorsqu'il s'agit de constructions situées dans le périmètre des canalisations prévues par le plan directeur, la possibilité du raccordement au réseau de collecteurs publics doit constituer le critère déterminant. Etant donné que, dans de nombreuses communes, les travaux d'aménagement du réseau de canalisations souffrent de retard, il est indiqué de prévoir des exceptions en faveur de petites constructions ne déversant que des petites quantités très limitées d'eaux usées, à la condition que le raccordement au collecteur puisse être réalisé dans un délai relativement bref (FF 1970 II 429 s., 457).
5.2 En l'occurrence, se fondant sur une estimation fournie par le bureau géotechnique mandaté par le constructeur pour réaliser le système individuel provisoire d'épuration des eaux, le Tribunal cantonal a retenu que la villa litigieuse produira 4'700 litres d'eaux usées par jour, compte tenu de 10 équivalents-habitants, de la piscine et du spa. Il a considéré qu'il s'agissait d'une quantité plus de cinq fois supérieure à celle qualifiée par l'OFEV de "plutôt petite" dans l'arrêt précité du 18 novembre 2010 (cf. consid. 5.4.1 "eher kleinen Abwasseranfall"). Il en a déduit que la villa litigieuse ne pouvait être qualifiée de "petit bâtiment" au sens de l'<ref-law>.
La directive "Stations d'épuration à faible capacité", éditée en 1995 par l'Association suisse des professionnels de la protection des eaux a établi des valeurs de dimensionnement pour mesurer la production d'eaux usées d'un bâtiment. Elle a précisé qu'un équivalent-habitant correspondait à 170 litres d'eaux usées par jour (p. 57).
Selon l'OFEV, la limite supérieure acceptable pour qualifier de "petit" un bâtiment d'habitation se situe vers les 4 à 5 équivalents-habitants, soit une quantité de 680 à 850 litres d'eaux usées par jour. Dès lors, la villa litigieuse qui fait état de 4'700 litres d'eaux usées par jour (comprenant 10 équivalents-habitants, une piscine et un spa) ne peut être qualifiée de "petit bâtiment" au sens de la LEaux. Par conséquent, c'est à juste titre que le Tribunal cantonal a jugé que la villa litigieuse n'était pas un "petit bâtiment" au sens de l'<ref-law>. Le fait que le SESA, dans son préavis du 23 septembre 2010 favorable à l'aménagement d'un système individuel d'épuration sur la parcelle n° 1168, ait traduit l'équivalent-habitant en m2 d'infiltration d'eau et non en litres d'eau n'y change rien, car il s'agissait alors de l'application de l'<ref-law> dans le cadre de l'octroi d'une autorisation pour le déversement d'eaux usées traitées dans le sous-sol.
5.3 Dans la mesure où la première des conditions cumulatives posées à l'octroi d'une dérogation au sens de l'<ref-law> n'est pas remplie, il n'y a pas lieu d'examiner les autres conditions.
6. Le recourant se dit aussi victime d'une inégalité de traitement (art. 8 Cst.) par rapport aux propriétaires de villas voisines qui ont obtenu une autorisation de déversement des eaux usées via une installation de prétraitement ou qui ne disposent pas d'autorisation cantonale et dont le SESA ne connaît pas les conditions d'évacuation des eaux usées. Il estime pouvoir être mis au bénéfice du principe de l'égalité dans l'illégalité, aux motifs que le SESA a établi une pratique constante visant à délivrer des autorisations spéciales pour des installations particulières dans la zone en question et que l'intérêt public de la protection des eaux n'est pas mis en péril.
6.1 Le principe de la légalité de l'activité administrative (cf. art. 5 al. 1 Cst.) prévaut sur celui de l'égalité de traitement (<ref-ruling> consid. 6a p. 392). En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité de traitement, lorsque la loi est correctement appliquée à son cas, alors qu'elle l'aurait été faussement, voire pas appliquée du tout dans d'autres cas semblables. Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question; le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi (<ref-ruling> consid. 9 p. 121 et les références citées). Si l'autorité ne s'exprime pas sur ses intentions futures, le Tribunal fédéral présumera qu'elle se conformera au jugement qu'il aura rendu (cf. <ref-ruling> consid. 2 p. 83 et les références citées). Encore faut-il qu'il n'existe pas un intérêt public prépondérant au respect de la légalité qui conduise à donner la préférence à celle-ci au détriment de l'égalité de traitement, ni d'ailleurs qu'aucun intérêt privé de tiers prépondérant ne s'y oppose (<ref-ruling> consid. 3c p. 254; <ref-ruling> consid. 2 p. 83 et les références citées). La jurisprudence a également précisé qu'il était nécessaire que l'autorité n'ait pas respecté la loi, non pas dans un cas isolé, ni même dans plusieurs cas, mais selon une pratique constante (<ref-ruling> consid. 8.6 p. 510). C'est seulement lorsque toutes ces conditions sont remplies que le citoyen est en droit de prétendre, à titre exceptionnel, au bénéfice de l'égalité dans l'illégalité.
6.2 En l'occurrence, le recourant ne démontre pas que les bâtiments auxquels il se réfère ont été érigés après l'entrée en vigueur de l'obligation de raccordement aux canalisations publiques. De plus, l'intention de poursuivre une pratique illégale n'a, en l'état, pas été manifestée dès lors que le SESA a indiqué, dans un courrier du 17 mai 2011, qu'il s'opposerait dorénavant à la "délivrance de tous les permis de construire ou de transformations d'habitations déposés dans ce secteur qui pourraient aggraver la situation dans le domaine qui relève de [sa] compétence". Une violation de l'égalité de traitement n'est donc, au vu du dossier, pas démontrée par le recourant.
7. Il s'ensuit que le recours en matière de droit public est rejeté dans la mesure de sa recevabilité et que le recours constitutionnel subsidiaire est irrecevable. Les frais judiciaires sont mis à la charge du recourant qui succombe (art. 65 et 66 LTF). Il n'est pas alloué de dépens à l'intimé, qui n'en demande pas et qui a procédé personnellement (art. 68 al. 1 et 2 LTF; cf. <ref-ruling> consid. 5 p. 304).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté, dans la mesure de sa recevabilité.
3. Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires du recourant et de la Municipalité de St-Prex, à l'intimé, au Service des eaux, sols et assainissement et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral de l'environnement.
Lausanne, le 18 juin 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller