Faits:
A. Le 27 avril 2000, Y._ a déposé une demande de permis de construire en vue d'édifier quatre groupes de villas jumelles. Cette demande a soulevé l'opposition, le 31 mai 2000, des époux X._, dont la villa était sise en amont des parcelles concernées. Le 29 août 2000, la municipalité a délivré un permis de construire, levant ainsi l'opposition au projet de construction. Par arrêt du 15 mai 2002, le Tribunal administratif vaudois a rejeté le recours formé par les époux X._ contre cette décision. Cet arrêt a fait l'objet d'un recours de droit administratif déposé par ceux-ci le 17 juin 2002 auprès du Tribunal fédéral, qui a accordé l'effet suspensif.
Le 15 août 2002, les époux X._ ont passé une convention de transaction avec Y._, comprenant une clause aux termes de laquelle "Y._ se reconnaît débiteur des époux X._ d'un montant de fr. 50'000.- (...), payable à raison de fr. 10'000.- (...) à la signature de la présente convention, puis à raison de fr. 40'000.- (...) d'ici au 31 décembre 2002 au plus tard. Ces deux montants (...) seront payables en mains des époux X._".
Le même jour, les époux X._ ont remis en mains de Y._ une lettre signée de leur part, adressée au Président de la Ire Cour de droit public du Tribunal fédéral, l'informant du retrait pur et simple de leur recours de droit administratif, lettre qui ne serait jamais parvenue au greffe du Tribunal fédéral. A la suite de l'intervention des époux X._ portant à la connaissance du Tribunal fédéral la lettre du 15 août 2002, le Président de la Ire Cour de droit public du Tribunal fédéral a rayé la cause du rôle par ordonnance du 3 septembre 2002.
Le 18 février 2003, Y._ a obtenu le permis de construire définitif et exécutoire nécessaire à son projet de construction.
Par lettre du 6 décembre 2002, les époux X._ ont réclamé à Y._ le paiement de la somme résiduelle de 40'000 fr. dans un délai échéant le 31 décembre 2002, conformément à la convention de transaction du 15 août 2002. Y._ a refusé de payer cette somme aux époux X._, au motif que ladite convention était "illicite, faute d'intérêt digne de protection, contraire aux moeurs en application de l'article 20 CO".
Le 4 avril 2003, les époux X._ ont déposé une réquisition de poursuite contre Y._ pour la somme de 40'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 2003, en invoquant comme cause de l'obligation la convention de transaction du 15 août 2002. Par décision du 9 décembre 2003, le Président du Tribunal d'arrondissement de Lausanne a prononcé la mainlevée provisoire de l'opposition formée par Y._ à concurrence de 40'000 fr. plus intérêt à 5 % l'an dès le 1er janvier 2003, décision confirmée par la Cour des poursuites et faillites du Tribunal cantonal vaudois le 10 juin 2004.
B. Le 30 juin 2004, Y._ a saisi le Tribunal d'arrondissement de Lausanne d'une demande tendant à ce qu'il soit dit qu'il ne doit pas aux époux X._, solidairement entre eux, la somme de 50'000 fr., ni aucune autre somme, en capital, intérêts et/ou frais, et que l'opposition formée au commandement de payer y relatif est maintenue.
En cours d'instance, le Président du Tribunal d'arrondissement de Lausanne a chargé un expert d'examiner si la construction des villas jumelées sur les parcelles de Y._ représentait pour les époux X._ un minimum de 50'000 fr. de moins-value, en matière de valeur vénale, pour ce qui était à l'époque leur maison. Le rapport d'expertise, daté du 28 juillet 2006, mentionnait notamment que lors de l'acquisition par sieur X._ de sa parcelle, en 1989, les terrains en aval avaient déjà été colloqués en zone villas et que le risque de se faire déposséder en tout ou partie de la vue était bien réel. Le prix d'acquisition devait donc en tenir compte, ce qui était très probablement le cas. L'expert relevait en outre que l'implantation des villas sur la parcelle de Y._ était plutôt favorable par rapport à celle des époux X._, laissant une vue magnifique depuis la piscine. Selon lui, "la situation réelle après mise en valeur des terrains en aval, est moindre que le risque que l'acquéreur de la parcelle (des époux X._) a pris lors de l'acquisition de son bien (en fonction de l'implantation la plus défavorable)". Il en concluait que la différence de valeur entre la parcelle des époux X._ avec la vue intégrale et la vue "entachée" par les villas en aval était au moins égale à 50'000 fr. mais que, partant du principe que le risque encouru par l'acquéreur de ladite parcelle était nettement antérieur à l'acquisition de celle-ci, ce montant était déjà "déduit" ou aurait dû l'être lors de l'acquisition en 1989.
Par jugement du 2 mars 2007, le Tribunal civil de l'arrondissement de Lausanne a dit que Y._ ne devait pas aux époux X._, solidairement entre eux, la somme de 40'000 fr. et maintenu l'opposition formée par celui-là au commandement de payer y relatif. Il a considéré que la moins-value invoquée par les époux X._ en matière de valeur vénale pour ce qui était à l'époque leur maison n'avait pas été établie, que la rémunération convenue entre les parties était essentiellement liée au retrait par ceux-ci de leur recours au Tribunal fédéral et qu'elle ne constituait dès lors pas une compensation à un préjudice occasionné par le projet de construction. Il a ainsi admis que les époux X._ avaient monnayé à l'égard de Y._ une position juridique purement formelle, en vue de diminuer le dommage qu'il aurait subi par suite du retard dans la réalisation de son projet, de sorte que la convention de transaction devait être tenue pour contraire aux moeurs et déclarée nulle, et l'opposition au commandement de payer maintenue.
Par arrêt du 25 octobre 2007, la Chambre des recours du Tribunal cantonal vaudois a rejeté le recours déposé par les époux X._ et confirmé le jugement du 2 mars 2007. Considérant qu'il s'agissait de déterminer si la rémunération prévue par la convention tendait à indemniser les recourants d'un préjudice lié au projet de l'intimé, elle a retenu que sur la base des propos de l'expert, l'on ne pouvait faire grief aux premiers juges d'avoir considéré que la moins-value liée à une diminution de la vue résultant de la construction de villas en aval existait au moment de l'achat de leur parcelle par les recourants et que cet aspect avait déjà joué un rôle pour la fixation du prix qu'ils avaient payé à l'époque. Par ailleurs, l'expert avait indiqué que l'implantation des deux villas sur la parcelle de l'intimé était plutôt favorable aux recourants, dès lors que leur vue aurait pu être réduite plus fortement. Enfin, le tribunal avait relevé que le bien des recourants avait subi une plus-value puisqu'acquis en 1989 pour 900'000 fr., il avait pu être revendu treize ans plus tard pour 1'080'000 fr. Ces différents éléments conduisaient à retenir que les recourants n'avaient pas subi de préjudice consécutif au projet de l'intimé. La convention du 15 août 2002 ne visait donc pas à indemniser les recourants d'un dommage, un tel dommage n'étant pas établi. Au vu de ce qui précédait, c'était à raison que les premiers juges étaient parvenus à la conclusion que ladite convention était prohibée par l'<ref-law>.
C. Les époux X._ (les recourants) interjettent un recours en matière civile au Tribunal fédéral. Ils concluent principalement à la réforme de l'arrêt du 25 octobre 2007 en ce sens qu'il est constaté que Y._ est leur débiteur et leur doit immédiat paiement de la somme de 40'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 2003, ainsi qu'à la levée définitive de l'opposition au commandement de payer y relatif, subsidiairement à l'annulation de l'arrêt et au renvoi de la cause à la cour cantonale - plus subsidiairement aux premiers juges - pour nouvelle décision dans le sens des considérants, avec suite de frais et dépens. Y._ (l'intimé) propose le rejet du recours, sous suite de frais et dépens.

Considérant en droit:
1. Interjeté par les recourants qui ont succombé dans leurs conclusions (<ref-law>) et dirigé contre une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), le recours soumis à l'examen du Tribunal fédéral est en principe recevable, puisqu'il a été déposé dans le délai, compte tenu des féries (art. 45 al. 1, 46 al. 1 let. c et 100 al. 1 LTF), et la forme (<ref-law>) prévus par la loi.
2. Le recours en matière civile peut être formé pour violation du droit fédéral (<ref-law>), y compris les droits constitutionnels (<ref-ruling> consid. 3.1 p. 447, 462 consid. 2.3). Saisi d'un tel recours, le Tribunal fédéral applique le droit d'office (<ref-law>) sur la base des faits établis par l'autorité précédente (<ref-law>), dont il ne peut s'écarter que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il n'est lié ni par les moyens invoqués par les parties ni par l'argumentation juridique retenue par la juridiction cantonale; il peut dès lors admettre le recours pour d'autres motifs que ceux invoqués par le recourant, comme il peut le rejeter en opérant une substitution de motifs (<ref-ruling> consid. 1.1 p. 104).
3. Les recourants reprochent à la cour cantonale d'avoir violé le droit fédéral en faisant une fausse application de l'<ref-law> et de la jurisprudence y relative, plus précisément de l'arrêt publié aux <ref-ruling>.
3.1 Aux termes de l'<ref-law>, le contrat est nul s'il a pour objet une chose impossible, illicite ou contraire aux moeurs. Sont contraires aux moeurs les contrats condamnés par la morale dominante, c'est-à-dire par le sentiment général des convenances ou par les principes et jugements de valeur qu'implique l'ordre juridique considéré dans son ensemble (<ref-ruling> consid. 4.1 p. 458).
Il convient d'examiner ce qu'il en est dans le domaine particulier de l'engagement à verser une indemnité pour le retrait d'une opposition, respectivement d'un recours, en matière de droit de la construction.
3.2 Dans une cause civile ayant donné lieu à l'<ref-ruling>, le Tribunal fédéral a jugé qu'une convention selon laquelle une indemnité devait être payée en échange du retrait d'une opposition, non dépourvue de chances de succès, à une demande de permis de construire, n'était pas contraire aux moeurs; la partie opposante avait attaqué, conformément aux lois cantonales sur les constructions, le projet de son adverse partie, et son recours n'était pas voué à l'échec; il était propre à sauvegarder des intérêts dignes de protection de la partie opposante; celle-ci pouvait penser, en toute objectivité, qu'elle pouvait faire obstacle au projet de construction qu'elle désapprouvait et provoquer la présentation d'un projet qui lui conviendrait mieux; ces éventualités et ces avantages pouvaient s'apprécier en argent (consid. 2b).
Dans une affaire civile ayant abouti à l'<ref-ruling>, qui se distinguait du cas susmentionné en ce sens que, dans son recours de droit administratif, l'opposant n'avait soulevé aucune objection matérielle qui aurait pu lui procurer un avantage pécuniaire par suite de la limitation du projet de construction de son voisin, la Cour de céans a jugé que la renonciation à titre onéreux à un moyen de droit devait être tenue pour contraire aux moeurs lorsqu'elle représentait une commercialisation blâmable de la position juridique de la partie renonçante; dans la mesure où la contrepartie pécuniaire de la renonciation ne se rapportait qu'au préjudice qui pourrait résulter de la prolongation de la procédure, mais non à des intérêts dignes de protection du propriétaire voisin, la commercialisation était immorale; le seul intérêt de l'opposant au retard dans l'exécution d'un projet de construction n'était en effet pas digne de protection et ne pouvait pas, sans contradiction interne, être évalué en argent (consid. 2c).
Enfin, dans une cause pénale ayant donné lieu à l'arrêt 6P.5/2006 du 12 juin 2006, le Tribunal fédéral a considéré qu'il y avait commercialisation immorale de la position de l'opposant qui ne se prévalait de sa vocation pour agir ni pour empêcher la réalisation d'un projet qui léserait ses intérêts, ni pour compenser des "inconvénients de voisin", mais en abusait comme d'un moyen pour se faire verser une prestation en argent; il fallait toutefois être restrictif et n'admettre la contrariété aux moeurs que lorsque les circonstances du cas particulier permettaient d'exclure totalement tout intérêt digne de protection du voisin (consid. 7.2).
3.3 Il en résulte que si le projet de construction est manifestement conforme aux règles applicables en la matière et, par conséquent, l'opposition et le recours infondés, la convention est contraire aux moeurs. En effet, la contrepartie pécuniaire ne compense alors rien, puisqu'aucun intérêt digne de protection de l'opposant n'est lésé et, partant, susceptible de donner lieu à indemnisation. La procédure d'opposition, respectivement de recours, est ainsi indûment détournée de son but afin d'obtenir une somme d'argent qui n'est due à aucun titre.
Par contre, si le projet mis à l'enquête contrevient à la réglementation en matière de droit de la construction, ou à tout le moins lorsque la situation est incertaine, l'ouvrage envisagé est susceptible de léser illicitement les intérêts dignes de protection du voisin, dont l'opposition et le recours ne sont pas voués à l'échec. Une compensation par le biais d'une contrepartie équitable, versée par le maître de l'ouvrage, n'est alors pas contraire aux moeurs, pour autant toutefois que l'opposant subisse ou risque de subir un dommage, tenant en général à une perte de valeur de son immeuble due au non-respect, par le projet litigieux, de dispositions en matière de construction. Il faut en effet que l'opposant puisse tirer un avantage de l'issue de la procédure administrative, en ce sens qu'il peut escompter la modification du projet en sa faveur (dans le même sens, cf. arrêt de l'Obergericht zurichois du 7 septembre 2004, reproduit in ZR 104/2005 n. 53 p. 203, consid. 3.1 et 3.2a p. 204 s.; Lustenberger, Die Verzichtsvereinbarung im öffentlichen Bauverfahren, Zurich 2008, n. 93 s. p. 38 s.). Ainsi, la seule diminution de la vue par la construction d'un bâtiment conforme aux règles applicables ne constitue pas un préjudice susceptible de donner lieu à indemnisation, car la renonciation à l'opposition n'est alors pas de nature à influer sur la situation, et le voisin ne peut donc pas monnayer un retrait.
3.4 Comme la cour cantonale l'a relevé à juste titre, en présence d'une reconnaissance de dette, il appartient au débiteur qui conteste la dette d'établir quelle est la cause de l'obligation et de démontrer que cette cause n'est pas valable, par exemple parce que le rapport juridique à la base de la reconnaissance est inexistant ou nul (art. 19 et 20 CO; <ref-ruling> consid. 3.2 p. 273).
Dans le cas particulier de l'engagement à verser une indemnité pour le retrait d'une opposition, respectivement d'un recours, en matière de droit de la construction, le fardeau de la preuve de la conformité du projet, voire de l'absence de préjudice subi par les voisins, appartient au maître de l'ouvrage; les opposants doivent toutefois collaborer à la preuve en indiquant les points sur lesquels ils estiment que le projet est non-conforme aux règles du droit de la construction (cf. Lustenberger, Baueinsprache als Erpressung - Zivilrechtliche Aspekte eines Strafurteils, in Droit de la construction 2006 p. 159 ss, spéc. p. 161). Le fait que le recours à l'autorité administrative ait été rejeté peut constituer un indice de la conformité du projet (cf. arrêt de l'Obergericht zurichois du 7 septembre 2004, reproduit in ZR 104/2005 n. 53 p. 203, consid. 3.2b p. 205; Lustenberger, Die Verzichtsvereinbarung im öffentlichen Bauverfahren, Zurich 2008, n. 98 p. 40). Le juge civil ne peut toutefois pas se dispenser de procéder à son propre examen à titre préjudiciel, ce d'autant plus que la signature d'une convention de transaction a précisément pour effet de stopper la procédure administrative avant qu'elle n'arrive à son terme.
C'est le lieu de rappeler que la transaction est un contrat par lequel les parties terminent un différend ou mettent fin à une incertitude touchant un rapport de droit grâce à des concessions réciproques (<ref-ruling> consid. 1.2 p. 51). Dans les transactions en cours de procès, les parties font ainsi des concessions pour mettre fin au litige en sachant qu'il y a une incertitude sur l'issue de la procédure.
3.5 En l'espèce, la question décisive est celle de savoir si le recours de droit administratif déposé par les recourants au Tribunal fédéral avait des chances de succès.
Dans l'affirmative, la convention est clairement valable. En effet, en payant 50'000 fr., l'intimé évitait de prendre le risque de perdre devant le Tribunal fédéral, ce qui aurait entraîné l'annulation de l'autorisation de construire et l'obligation de modifier son projet avec la perte de temps, et d'argent, que cela implique. Dans cette hypothèse, la position des recourants n'était pas abusive, car l'admission du recours aurait impliqué que le projet devait être revu et que son exécution était différée. En retirant leur recours, ils renonçaient à cette chance, mais recevaient en contrepartie une somme de 50'000 francs.
En revanche, en l'absence de chances de succès du recours, l'intimé ne courait pas le risque de devoir modifier et, en conséquence, longuement différer son projet et les recourants n'avaient pas l'espoir de voir la construction modifiée et durablement reportée. Les voisins n'utilisaient pas la voie de recours conformément à sa finalité, c'est-à-dire pour défendre leurs droits, mais uniquement pour gagner du temps, causer ainsi un préjudice illégitime à l'intimé et l'amener à payer pour y échapper. L'indemnité convenue dans de telles conditions était contraire aux moeurs.
3.6 En l'occurrence, la cour cantonale n'a rien constaté s'agissant de la conformité du projet litigieux et des chances de succès du recours de droit administratif au Tribunal fédéral. En outre, elle est partie d'une prémisse erronée, dans la mesure où elle a discuté de la moins-value sous l'angle de la seule perte de vue ensuite de l'implantation des villas projetées, ainsi que du prix de vente obtenu par les recourants pour leur immeuble après la construction des villas litigieuses. Or, ces points n'étaient pas nécessairement pertinents. En effet, il importait seulement de savoir si le recours avait des chances de succès et si les recourants, en le retirant, ont abandonné tout espoir d'obtenir la présentation d'un projet de construction modifié en leur faveur, lésant leurs intérêts dans une moindre mesure. Ce n'est que si le recours était dépourvu de chances de succès qu'il était abusif et dilatoire et que l'on peut admettre que les voisins ont agi de manière contraire aux moeurs en monnayant le retrait d'un recours abusif.
L'arrêt entrepris consacre ainsi une violation du droit fédéral, de sorte que le recours doit être admis. En pareille circonstance, le Tribunal fédéral peut statuer lui-même sur le fond (<ref-law>), sur la base des faits établis par l'autorité précédente (<ref-law>). En l'espèce, l'état de fait retenu dans l'arrêt attaqué mentionne que la municipalité a délivré un permis de construire, levant ainsi l'opposition au projet de construction, et que le Tribunal administratif a rejeté le recours formé par les opposants contre cette décision; il ne contient par contre aucune indication relative à la conformité du projet litigieux à la réglementation applicable en matière de droit de la construction, ou au dommage en découlant éventuellement, et ne permet donc pas d'apprécier les chances de succès du recours. La Cour de céans n'est ainsi pas en mesure de trancher elle-même le litige, si bien qu'il y a lieu de renvoyer l'affaire à la cour cantonale pour nouvelle instruction, notamment sur la base des faits allégués par les parties et de ceux résultant de l'expertise, et nouvelle décision dans le sens des considérants (<ref-law>).
4. Compte tenu de l'issue du litige, les frais judiciaires et dépens seront mis à la charge de l'intimé, qui succombe (art. 66 al. 1 et art 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt attaqué est annulé et l'affaire est ren-voyée à la cour cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3. Une indemnité de 2'500 fr., à payer aux recourants, créanciers solidaires, à titre de dépens, est mise à la charge de l'intimé.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal vaudois.
Lausanne, le 12 juin 2008
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Président: La Greffière:
Corboz Cornaz