Faits:
A. Z._ (ci-après: le vendeur) est propriétaire de la parcelle RF no 98, sise sur le territoire de la commune de ..., d'une surface de 923 m2 disposant d'une servitude active de passage à pied et pour tous véhicules grevant le bien-fonds RF no xxx.
Le 13 juin 2008, X._ et Y._ (ci-après: les acheteurs) et le vendeur ont signé un acte de vente conditionnelle portant sur la parcelle précitée. Dans l'acte, les acheteurs ont subordonné leur acquisition à la délivrance d'un permis de construire définitif et exécutoire, la non-réalisation de cette condition entraînant la caducité du contrat (art. 1); les acheteurs se sont obligés envers le vendeur à déposer en mains du Greffe municipal de ..., d'ici au 15 août 2008, un dossier d'enquête publique complet en vue de l'obtention du permis de construire. Ils ne pouvaient se prévaloir de la réserve formulée à l'art. 1 du contrat s'ils ne déposaient pas leur dossier dans ce délai (art. 2). Le prix de vente a été fixé à 110'000 fr. payable par un acompte de 11'000 fr. à verser sur le compte bancaire de l'association des notaires vaudois, sous la rubrique "Notaire A._", et par un montant de 99'000 fr. payable dans les trente jours dès réception par les acquéreurs du permis de construire (art. 10).
En vue de l'obtention du permis de construire, les acheteurs se sont adressés à B._, entreprise de construction des chalets V._ Sàrl. Celui-ci, dans un courrier du 17 juillet 2008 envoyé au notaire A._, a indiqué "qu'il faudrait abolir l'acte de vente car nous n'avons aucune publicité (sic) pour arriver sur cette parcelle de terrain soit pour la construction, soit avec les automobiles et il n'y aura aucune place de parc pour le propriétaire du futur bâtiment". Entendu comme témoin, il a estimé que le dépôt auprès de la Municipalité d'une demande de permis de construire était une démarche inutile.
Dans une lettre adressée au vendeur, C._, du bureau W._ SA, a indiqué que la construction d'un chemin pour tous véhicules légers sur le tracé de la servitude n'était pas réaliste. Selon lui, la seule solution serait de trouver un tracé plus adéquat et d'obtenir des propriétaires des parcelles touchées l'accord pour inscrire une nouvelle servitude.
Dans un courrier du 31 juillet 2008 envoyé à Me A._, D._, architecte EPFL - SIA, a signalé, après expertise, que le chemin d'accès à la parcelle litigieuse présentait une pente de 30 à 34% et rappelé que la maison se trouverait à une altitude de 950 mètres et qu'elle serait susceptible de connaître des conditions d'enneigement. A cet égard, il a rappelé les normes de l'Union des professionnels suisses de la route (VSS) relatives aux pentes maximales.
Le 26 août 2008, l'entreprise V._ Sàrl a transmis à X._ un dossier "à déposer à la commune de ... pour analyser le projet avant mise à l'enquête". Le dossier a été adressé à la Municipalité le 28 août 2008. Le 8 septembre 2008, celle-ci a répondu que si le chalet projeté semblait être conforme aux dispositions municipales, l'accès à la parcelle, selon le tracé de servitude de passage, ne pouvait toutefois être admis tel qu'il était présenté, en raison de la pente beaucoup trop importante. Elle indiquait qu'un arrangement devait être trouvé avec les propriétaires des parcelles voisines.
Par courriers recommandés du 15 septembre 2008, le conseil du vendeur a mis en demeure les acheteurs de régler le solde du prix de vente auprès de Me A._.
Le 5 janvier 2009, le courtier mandaté par le vendeur pour la vente de la parcelle a adressé à celui-ci une note d'honoraires de 5'918 fr.
B. Par demande du 26 janvier 2009, les acheteurs ont conclu à ce que la vente conditionnelle soit déclarée caduque et à ce que l'ordre soit donné au notaire de leur restituer l'acompte de 11'000 fr.
Par réponse du 17 février 2009, le vendeur a conclu au rejet des conclusions de la demande et, reconventionnellement, à ce que les acheteurs soient reconnus débiteurs conjoints et solidaires de la somme de 16'918 fr. avec intérêt à 5% dès le 26 septembre 2008 et à ce que le montant de 11'000 fr. consigné auprès de l'Association des notaires vaudois soit libéré en sa faveur, à valoir sur la somme de 16'918 fr.
Le Président du Tribunal civil de l'arrondissement de l'Est vaudois a, par jugement du 28 septembre 2009, admis l'action des acheteurs et rejeté les conclusions reconventionnelles du vendeur. Il a jugé qu'un permis de construire n'aurait pas pu être délivré, dès lors que, vu la pente moyenne de 33 à 34% du terrain, la parcelle n'a aucun accès suffisant et qu'en conséquence la condition posée par le contrat du 13 juin 2008 était impossible.
Statuant le 16 juin 2010, la Chambre des recours du Tribunal cantonal vaudois a admis le recours du vendeur et réformé le jugement de première instance en ce sens qu'elle a rejeté l'action des acheteurs et admis les conclusions reconventionnelles du vendeur. La cour cantonale a observé que l'exigence du dépôt d'une demande de permis de construire figure expressément, à titre d'incombance faite aux acquéreurs, à l'art. 2 du contrat de vente. Elle a ajouté que le vendeur n'a pas abusé de son droit en invoquant cette clause contractuelle, la délivrance d'un permis de construire n'étant pas impossible. Au demeurant, elle a souligné que les avis de B._, de C._ et de D._ ne font état que du caractère déraisonnable de la construction d'un accès utilisable par des véhicules sur le tracé de la servitude existante au vu de l'altitude de la parcelle litigieuse, de la pente du terrain et des prescriptions techniques des normes VSS; ces avis sont en revanche muets sur la possibilité d'obtenir un permis de construire. Quant à la prise de position de la Municipalité du 8 septembre 2008, qui est postérieure au 15 août 2008 (et ne pouvait donc justifier la renonciation, à cette dernière date, au dépôt d'une demande de permis de construire), l'autorité précédente a remarqué qu'elle avait trait à la construction d'une route sur le tracé de la servitude et qu'elle n'examinait pas la solution de la renonciation à un accès carrossable à la parcelle, moyennant la constitution d'une place de parc au bas de la pente.
C. Les acheteurs exercent un recours constitutionnel subsidiaire contre l'arrêt cantonal du 16 juin 2010. Ils concluent, sous suite de frais et dépens, à sa réforme en ce sens qu'il soit dit que la vente du 13 juin 2008 est caduque et que l'ordre soit donné au notaire de leur restituer l'acompte de 11'000 fr. sur le prix de vente. Les recourants estiment que c'est à tort que l'autorité précédente a considéré que la réalisation de la condition de la délivrance d'un permis de construire était possible; selon eux, la cour cantonale est arrivée à sa conclusion sur la base "d'une triple argumentation dont [ils] entend[ent] démontrer qu'elle est grossièrement erronée".
L'intimé conclut, avec dépens, à l'irrecevabilité du recours, subsidiairement à son rejet.
Par ordonnance présidentielle du 29 novembre 2010, l'effet suspensif a été accordé au recours.

Considérant en droit:
1. 1.1 Devant l'autorité précédente, le litige portait sur la somme de 16'918 fr. La valeur litigieuse minimale requise par l'<ref-law> n'étant pas atteinte, le recours en matière civile n'était pas ouvert, étant précisé que l'on ne se trouve dans aucun des cas prévus par l'<ref-law>. C'est donc à juste titre que la recourante a interjeté un recours constitutionnel subsidiaire, puisque le recours ordinaire ne lui était pas ouvert (<ref-law>).
1.2 Interjeté par les parties qui ont succombé dans leurs conclusions visant à déclarer caduque la vente conditionnelle du 13 juin 2008 et qui ont un intérêt juridique à l'annulation ou à la modification de la décision (<ref-law>), le recours déposé dans le délai (art. 117, 100 al. 1 et 45 al. 1 LTF) et la forme (<ref-law>) prévus par la loi, est en principe recevable, puisqu'il est dirigé contre une décision finale (art. 117 et 90 LTF) rendue par une autorité cantonale de dernière instance (<ref-law>).
1.3 Le recours subsidiaire ne peut être interjeté que pour violation des droits constitutionnels (<ref-law>). Le Tribunal fédéral ne peut examiner la violation d'un droit de rang constitutionnel que si le grief a été invoqué et suffisamment motivé dans l'acte de recours (art. 117 et 106 al. 2 LTF; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 3.2 p. 444).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que s'ils ont été établis en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que la partie recourante doit invoquer avec précision (art. 117 et 106 al. 2 LTF). Aucun fait nouveau ou preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée (art. 117 et 99 al. 1 LTF).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 117 et 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 117 et 99 al. 2 LTF).
2. 2.1 La cour cantonale juge que la délivrance d'un permis de construire n'était pas objectivement impossible et que le contrat du 13 juin 2008 n'est dès lors pas caduc. En substance, elle considère qu'il n'était pas exclu de considérer que l'accès actuel à la parcelle litigieuse pouvait être qualifié de suffisant au regard de l'art. 19 LAT, étant donné qu'il était possible de renoncer à un accès par voiture (dans la mesure où une place de parc au bas de la pente était disponible); subsidiairement, elle ajoute que, même à considérer l'accès insuffisant selon l'art. 19 al. 1 LAT, cela ne pouvait avoir comme conséquence le refus du permis de construire, la Municipalité devant initier la procédure prévue à l'art. 93a de la Loi vaudoise sur l'amélioration foncière du 29 novembre 1961 (LAF; RSV 913.11); enfin, elle retient que l'art. 51 du Règlement communal du 12 mai 1978 sur le plan d'extension et la police des constructions ne permet pas de dire qu'il aurait entraîné de façon certaine le refus de délivrance du permis de construire.
2.2 Il est constant que les acheteurs n'ont pas respecté l'incombance qui leur était faite à l'art. 2 du contrat, ce qu'ils ne contestent d'ailleurs pas.
Les recourants soutiennent par contre qu'ils n'ont pas déposé formellement de demande de permis de construire parce que celui-ci n'aurait jamais été délivré par l'autorité communale. Faisant référence à une part de la doctrine (notamment PIERRE ENGEL, Traité des obligations en droit suisse, 2e éd. 1997, p. 853), ils tentent ainsi de démontrer que les effets du contrat dépendaient en l'espèce d'un évènement impossible (l'octroi du permis de construire). A cet égard, ils estiment que l'argumentation de la cour précédente, selon laquelle la condition prévue à l'art. 1 de l'acte de vente pouvait être réalisée (cf. supra consid. 2.1), est "grossièrement erronée". Bien qu'ils n'invoquent aucun droit constitutionnel, on peut admettre qu'ils entendent, par cette formulation, tirer moyen de l'interdiction de l'arbitraire (art. 9 Cst.). Les recourants ne soutiennent pas que la cour cantonale aurait appliqué arbitrairement des dispositions du droit fédéral (notamment les art. 157 et 20 CO; cf. infra consid. 2.3), mais ils se bornent à critiquer la façon dont elle a apprécié les preuves à sa disposition.
2.3 Selon l'<ref-law>, lorsque la condition stipulée a pour objet de provoquer soit un acte, soit une omission illicite ou contraire aux moeurs, l'obligation qui en découle est nulle et de nul effet.
Contrairement à l'<ref-law> (qui traite de l'objet du contrat), l'<ref-law> (qui vise spécifiquement les conditions prohibées) ne dit rien sur la condition impossible. A cet égard, une part de la doctrine, appliquant par analogie l'<ref-law>, estime qu'il faut distinguer selon que la volonté des parties était d'être purement et simplement liée ou si elle était de ne pas être liée si la condition était d'emblée impossible (PASCAL PICHONNAZ, in Commentaire romand, Code des obligations I, 2003, no 4 ad <ref-law> et les références). D'autres auteurs admettent l'inexistence du contrat dans tous les cas (VON THUR/ESCHER, Allgemeiner Teil des schweizerischen Obligationenrecht, Band II, 1974, p. 259; ENGEL, op. cit., p. 853).
Il n'est pas nécessaire d'examiner de façon plus approfondie les avis de ces auteurs. Il ressort des constatations cantonales que les parties n'auraient pas conclu le contrat de vente sans la condition intégrée à son art. 1. Ce point n'est d'ailleurs pas discuté devant la Cour de céans. Ainsi, si l'évènement devait en l'espèce se révéler effectivement impossible, le contrat devrait être considéré comme caduc.
Il s'agit en l'occurrence d'analyser une éventuelle impossibilité juridique (cf. entre autres auteurs, sous l'angle de l'<ref-law>: ENGEL, op. cit., p. 270), soit d'examiner si l'octroi du permis de construire était initialement impossible en raison des diverses règles de droit public applicables au terrain litigieux. Autrement dit, il s'agit de déterminer si, au moment de la conclusion du contrat, les acheteurs avaient la possibilité d'obtenir un permis de construire, ou si, au contraire, l'octroi était d'emblée exclu.
La condition suspensive et l'incombance y relative étant établies, il appartenait aux acheteurs d'apporter la preuve des éléments pertinents permettant d'établir l'impossibilité juridique qu'ils allèguent (<ref-law>; cf. sous l'angle de l'<ref-law>: ERNST A. KRAMER, Berner Kommentar, 1991, no 317 ad art. 19-20 CO; MAX KUMMER, Berner Kommentar, 1962, no 291 ad <ref-law>).
En ce qui concerne l'appréciation des preuves et l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1). Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit (<ref-ruling> consid. 2.1 p. 9; arrêt 4P.305/2001 du 18 mars 2002, consid. 2a).
2.4 Les recourants reviennent sur l'arrêt du 17 octobre 1997 du Tribunal administratif du canton de Vaud, mentionné par la cour cantonale. Dans cet arrêt, le Tribunal administratif a jugé qu'un accès avec une pente de l'ordre de 34% était suffisant au regard de l'art. 19 LAT dans la mesure où le projet consistait dans la construction d'un seul logement, mais que la mise à disposition d'une place de parc au bas de la pente était cependant nécessaire en région de montagne à cause de l'enneigement qui peut rendre le chemin impraticable. Dans le précédent cantonal précité, les juges ont retenu l'existence d'une place de parc, le propriétaire de la parcelle sur laquelle les travaux étaient projetés bénéficiant déjà d'une servitude garantissant une telle place au bas de la pente.
Les recourants estiment que cet arrêt cantonal plaide en faveur de leur thèse puisqu'ils ne disposent, quant à eux, pas d'une telle servitude. Leur argument tombe à faux. En l'espèce, il ne s'agit en effet pas de savoir si les recourants possèdent une servitude leur garantissant une place de parc, mais uniquement de savoir si le permis de construire leur serait d'emblée refusé, aucune place de parc ne pouvant être mise à leur disposition à proximité de leur parcelle. Or, l'autorité précédente retient que "rien n'indique qu'une place de parc ne pourrait pas être réalisée sur une parcelle voisine, le cas échéant sur le tracé de la servitude, voire ailleurs dans la commune". Ainsi, la critique soulevée par les recourants n'est pas propre à démontrer que l'autorité précédente aurait fait, sur la base du précédent cantonal invoqué, des déductions insoutenables.
Il va de soi que la solution visant à renoncer à un accès carrossable à la parcelle litigieuse est certainement moins commode pour les recourants que celle qui était prévue dans leur projet initial. Il n'est toutefois pas possible de tenir compte de cet inconvénient pour les acheteurs puisqu'il s'agit en l'occurrence uniquement de déterminer si l'octroi d'un permis de construire était ou non d'emblée exclu au moment de la conclusion du contrat. En l'espèce, les recourants ne sont pas parvenus à en apporter la preuve (notamment en démontrant qu'aucune place de parc ne pourrait leur être attribuée) et c'est par une appréciation des preuves exempte d'arbitraire que la cour cantonale est arrivée à la conclusion qu'il n'était pas impossible de réaliser la condition figurant à l'art. 1 du contrat de vente. Il n'est dès lors pas nécessaire de revenir sur l'argumentation subsidiaire fournie par l'autorité précédente, également attaquée par les recourants, ayant trait à la procédure au sens de l'art. 93a LAF.
Quant à l'argumentation tirée des normes VSS, en particulier de la norme VSS 640'291 prévoyant le pourcentage maximal de pente pour les rampes d'accès, elle devient sans pertinence. En effet, la possibilité examinée plus haut sous l'angle de l'art. 19 LAT ne soulève pas le problème de pente, la place de parc étant située - selon les constatations cantonales (<ref-law>) - au bas de celle-ci.
2.5 Revenant à la charge, les recourants soutiennent que la Municipalité n'aurait pas pu autoriser la réalisation d'une place de parc en dehors de leur parcelle, soit sur une parcelle voisine, voire ailleurs dans la commune. Se limitant à soulever une brève critique de nature appellatoire, ils semblent considérer comme acquis que l'art. 51 du Règlement communal impose au propriétaire de construire une place de parc sur sa propre parcelle; ils estiment qu'il s'agissait alors d'obtenir une dérogation - selon l'art. 53 du Règlement communal - qui n'aurait pas pu être obtenue en l'espèce.
Les recourants, qui soulèvent valablement leur grief uniquement sous l'angle des dérogations possibles (art. 53 du Règlement), n'offrent aucune motivation circonstanciée démontrant que l'autorité précédente aurait appliqué arbitrairement l'art. 51 du Règlement. Leur moyen est dès lors irrecevable.
Quoiqu'il en soit, on ne voit pas en quoi la décision cantonale serait manifestement insoutenable sur ce point.
L'art. 51 du Règlement communal prévoit que la Municipalité peut fixer le nombre de places privées de stationnement ou garage pour voitures qui doivent être aménagées par les propriétaires à leurs frais et sur leur terrain en rapport avec l'importance et la destination des nouvelles constructions, mais au minimum une place de stationnement ou garage par logement, les emplacements de stationnement devant être prévus en arrière des alignements.
Selon la cour cantonale, on ne saurait considérer comme acquis que l'exigence d'une place de stationnement (ou de parc) sur la parcelle revêt un caractère absolu à l'art. 51 du Règlement communal. L'autorité précédente relève que si l'on considère que cette règle communale introduit une exigence quant à l'équipement du terrain (condition nécessaire pour obtenir une autorisation de construire; cf. art. 22 al. 2 let. b et 19 LAT), elle dérogerait de façon inadmissible au droit fédéral, celui-ci permettant l'octroi d'un permis de construire lorsque la topographie empêche de réaliser une route d'accès à la parcelle (et donc une place de parc sur celle-ci) (cf. arrêt 5A_136/2009 du 19 novembre 2009 consid. 4.3.2 et les références; ZEN-RUFFINEN/GUY-ECABERT, Aménagement du territoire, construction, expropriation, 2001, n. 702 p. 324 s.; JOMINI, in Commentaire de la loi fédérale sur l'aménagement du territoire, no 18 ad art. 19 LAT). Si l'on admet, à l'instar de la cour cantonale, que la règle communale a une portée autonome, visant à éviter que le domaine public ne soit encombré, rien n'indique que le permis de construire ne pouvait être accordé. L'autorité précédente souligne en effet qu'il n'était pas exclu qu'une place de parc puisse être réalisée sur une parcelle voisine, voire ailleurs dans la commune. Cela étant, on ne peut dire qu'il était insoutenable de nier que l'art. 51 du Règlement communal aurait entraîné de façon certaine le refus de délivrance du permis de construire. Les témoignages recueillis par l'autorité précédente confirment d'ailleurs la conformité de cette conclusion avec la pratique. Selon un témoin, architecte et estimateur à l'ECA, les propriétaires peuvent, dans certains cas, stationner sur des places aménagées sur le domaine public. Un autre témoin, également estimateur à l'ECA, a expliqué qu'en montagne, deux chalets sur dix n'ont pas d'accès avec un véhicule, les personnes laissant leur voiture sur le domaine public ou chez des voisins.
C'est donc sans sombrer dans l'arbitraire que la cour cantonale a considéré que les recourants ne sont pas parvenus à démontrer que l'octroi d'un permis de construire était impossible et qu'elle a refusé de déclarer caduc le contrat de vente du 13 juin 2008.
3. Le recours constitutionnel subsidiaire est rejeté dans la mesure de sa recevabilité.
Les frais judiciaires et les dépens sont mis à la charge des recourants, qui succombent (art. 66 al. 1, 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants.
3. Les recourants verseront solidairement à l'intimé une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 10 janvier 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget