Faits :
A. Le 8 octobre 2004, Y._, notaire à A._, a instrumenté un "acte de vente à terme avec droit d'emption" portant sur la parcelle no xxx du registre foncier de St-Prex. Selon les termes de l'acte, X._, propriétaire, vendait ladite parcelle à Z._, née le 28 juin 1920, pour le prix de 9'200'000 fr. payable en deux fois, un acompte de 460'000 fr. devant être versé jusqu'au 20 octobre 2004 et le solde de 8'740'000 fr. acquitté le jour de l'exécution de l'acte, soit le 10 décembre 2004. Ce jour-là, ayant constaté que Z._ n'était pas en mesure de payer le prix de vente, le notaire a dressé un constat de carence; il avait par ailleurs été informé par le Service public de tutelle de la Ville de Zurich que l'intéressée était sous tutelle conformément à l'<ref-law> et qu'elle n'était dès lors pas en mesure d'agir valablement sans l'assistance de sa tutrice.
Le 31 août 2005, X._ a dénoncé Y._ auprès de la Chambre des notaires du canton de Vaud (ci-après: la Chambre des notaires), requérant l'ouverture d'une enquête disciplinaire ainsi que la condamnation disciplinaire de celui-ci. Il lui reprochait de n'avoir pas vérifié la capacité civile des parties à l'acte de vente susmentionné et d'avoir tardé à annoncer que l'acompte de 460'000 fr. n'avait pas été payé au 20 octobre 2004.
Par décision du 29 mai 2006, la Chambre des notaires a classé sans suite la dénonciation en tant qu'elle concernait la vérification de la capacité civile de l'acheteuse et a ouvert une enquête disciplinaire contre Y._ à raison du fait qu'il avait averti tardivement X._ que l'acompte prévu par l'acte de vente du 8 octobre 2004 n'était pas payé.
B. X._ a recouru au Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) contre la décision de la Chambre des notaires du 29 mai 2006 en tant qu'elle classait sans suite sa dénonciation. Par arrêt du 30 mai 2007, le Tribunal administratif a rejeté le recours et confirmé la décision attaquée. Il a considéré en substance que la capacité de discernement était présumée en droit civil fédéral et qu'une vérification systématique de la capacité des parties, sans motif apparent d'y procéder, entraverait de manière disproportionnée l'activité du notaire et la passation des actes. En l'espèce, au vu de l'ensemble des circonstances, on ne pouvait reprocher à Y._ de n'avoir pas entrepris les démarches nécessaires à la vérification de la capacité de Z._.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler l'arrêt du 30 mai 2007 du Tribunal administratif et de renvoyer la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants, subsidiairement, de réformer l'arrêt attaqué en ce sens qu'ordre soit donné à l'autorité intimée d'ordonner à la Chambre des notaires d'ouvrir une enquête disciplinaire contre l'intimé également en raison de l'absence de vérification de la capacité civile active de Z._. Le recourant fait valoir que l'autorité intimée a constaté les faits de façon incomplète et a appliqué arbitrairement l'art. 57 de la loi cantonale vaudoise du 10 décembre 1956 sur le notariat.
Le Tribunal administratif se réfère à son arrêt. L'intimé conclut, avec suite de frais et dépens, au rejet du recours et à la confirmation de l'arrêt attaqué. La Chambre des notaires n'a pas fait parvenir d'observations.

Le Tribunal fédéral considère en droit:
1. En vertu de l'<ref-law>, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (lettre a), est particulièrement atteint par la décision attaquée (lettre b) et a un intérêt digne de protection à son annulation ou à sa modification (lettre c). Cette disposition reprend en particulier les exigences qui prévalaient sous l'empire de l'art. 103 lettre a OJ pour le recours de droit administratif (cf. Message du Conseil fédéral concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4126).
Selon la jurisprudence applicable au recours de droit administratif, dont il n'y a pas lieu de s'écarter (cf. <ref-ruling> consid. 1.3.1 p. 253), l'intérêt digne de protection consiste dans l'utilité pratique que l'admission du recours apporterait au recourant, en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision attaquée lui occasionnerait. Il implique que le recourant soit touché de manière directe, concrète et dans une mesure et avec une intensité plus grandes que la généralité des administrés. L'intérêt invoqué - qui n'est pas nécessairement un intérêt juridiquement protégé, mais peut être un intérêt de fait - doit se trouver, avec l'objet de la contestation, dans un rapport étroit, spécial et digne d'être pris en considération (<ref-ruling> consid. 3 p. 202/203; <ref-ruling> consid. 1a p. 36 et les arrêts cités). Le recours d'un particulier formé dans l'intérêt général ou dans l'intérêt d'un tiers est exclu. Cette exigence a été posée de manière à empêcher l'action populaire au niveau de la juridiction administrative fédérale (cf. <ref-ruling> consid. 3.1 p. 651 et les arrêts cités). C'est d'ailleurs dans ce sens que le législateur a rendu encore plus stricte la condition de l'intérêt personnel au recours en matière de droit public, précisant à l'<ref-law> que le recourant doit être "particulièrement atteint" par l'acte attaqué; celui-ci doit donc avoir un intérêt personnel qui se distingue nettement de l'intérêt général des autres membres de la collectivité dont l'organe a statué (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale [ci-après: le Message], FF 2001 p. 4127). D'après la doctrine, ce "signal rédactionnel" ne fait que confirmer la tendance de la jurisprudence à resserrer la portée de l'intérêt digne de protection, particulièrement en ce qui concerne la légitimation des tiers (Etienne Poltier, Le recours en matière de droit public, in: La nouvelle loi sur le Tribunal fédéral, Publication CEDIDAC 71, Lausanne 2007, p. 159; Karl Spühler / Annette Dolge / Dominik Vock, Kurzkommentar zum Bundesgerichtsgesetz, Zurich/St. Gallen 2006, n. 4 ad art. 89 p. 167; Regina Kiener, Die Beschwerde in öffentlich-rechtlichen Angelegenheiten, in: Neue Bundesrechtspflege, Berner Tage für die juristische Praxis 2006, Bern 2007, p. 256; Heinz Aemisegger, Der Beschwerdegang in öffentlich-rechtlichen Angelegenheiten, in: Die Reorganisation des Bundesrechtspflege - Neuerungen und Auswirkungen in der Praxis, St. Gallen 2006, p. 151; Hansjörg Seiler/Nicolas von Werdt/Andreas Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, n. 19 ss ad art. 89 p. 361 ss).
2. En l'espèce, l'arrêt attaqué confirme, sur recours, le refus de la Chambre des notaires d'entrer en matière sur la dénonciation déposée par le recourant contre l'intimé.
La dénonciation est une procédure non contentieuse par laquelle n'importe quel administré peut attirer l'attention d'une autorité hiérarchiquement supérieure sur une situation de fait ou de droit qui justifierait à son avis une intervention de l'Etat dans l'intérêt public. La dénonciation est possible dans toute matière où l'autorité pourrait intervenir d'office. En principe, l'administré n'a aucun droit à ce que sa dénonciation soit suivie d'effets, car l'autorité saisie peut, après un examen sommaire, décider de la classer sans suite; le dénonciateur n'a même pas de droit à ce que l'autorité prenne une décision au sujet de sa dénonciation (cf. André Grisel, Traité de droit administratif, vol. II, Neuchâtel 1984, p. 950 ss; Blaise Knapp, Précis de droit administratif, 4ème éd., Bâle 1991, p. 375/376; Pierre Moor, Droit administratif, vol. III, 2ème éd., Berne 1992, p. 13/14). Par conséquent, la seule qualité de dénonciateur ne donne pas le droit de recourir contre la décision prise à la suite de la dénonciation; le dénonciateur doit encore pouvoir invoquer un intérêt digne de protection à ce que l'autorité de surveillance intervienne (cf. <ref-ruling> consid. 3a p. 355). La jurisprudence a ainsi dénié la qualité pour recourir au plaignant dans le cadre d'une procédure disciplinaire dirigée contre un avocat, considérant que celui-là n'avait pas un intérêt propre et digne de protection à demander une sanction disciplinaire à l'encontre de l'avocat pour une éventuelle violation de ses obligations professionnelles (<ref-ruling> consid. 4.2 p. 254 et 129 II 297 consid. 3.1 p. 302/303 et les références). En effet, la procédure de surveillance disciplinaire des avocats a pour but d'assurer l'exercice correct de la profession par les avocats et de préserver la confiance du public à leur égard et non de défendre les intérêts privés des particuliers (<ref-ruling> consid. 4.4 p. 255; <ref-ruling> consid. 2b p. 232).
Dans le cas particulier, le recourant a dénoncé l'intimé à la Chambre des notaires, car il estimait que celui-ci avait violé la loi vaudoise sur le notariat et que son comportement devait être sanctionné. Dans son recours au Tribunal fédéral, il est d'avis que "l'arrêt entrepris aurait dû constater que le notaire Y._ avait violé de manière importante et répétée l'art. 57 de la loi du 10 décembre 1956 sur le notariat". En parallèle à la présente procédure, l'intéressé a ouvert action devant le Tribunal civil d'arrondissement de la Côte, le 31 août 2005, afin d'obtenir réparation de son éventuel dommage matériel. Il a ainsi un certain intérêt à faire sanctionner disciplinairement l'intimé, afin d'en tirer profit dans la procédure civile. Cet intérêt est toutefois de pur fait et sort manifestement du cadre délimité par l'objet de la contestation, dans la mesure où la procédure de surveillance disciplinaire des notaires - tout comme celle des avocats - vise à assurer l'exercice correct de la profession et à préserver la confiance du public. Par ailleurs, au cas où le but recherché par le recourant serait également la défense de l'intérêt public, il sied de rappeler que l'action populaire est exclue en procédure fédérale. Dans ces circonstances, il apparaît que le recourant n'est pas "particulièrement atteint" par l'arrêt attaqué au sens de l'<ref-law> et n'a pas d'intérêt digne de protection à obtenir son annulation. Peu importe au demeurant qu'il ait pris valablement part à la procédure devant l'autorité intimée.
3. Il résulte de ce qui précède que le recours est irrecevable. Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (<ref-law>). En revanche, l'intimé a droit à une indemnité de dépens, qu'il convient de mettre à la charge du recourant (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le recourant versera à l'intimé Y._ une indemnité de 2'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué en copie aux mandataires des parties, à la Chambre des notaires et au Tribunal administratif du canton de Vaud.
Lausanne, le 19 octobre 2007
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: La greffière: