Faits: A. Z._ (ci-après: le vendeur) est propriétaire de la parcelle RF no 98, sise sur le territoire de la commune de ..., d'une surface de 923 m2 disposant d'une servitude active de passage à pied et pour tous véhicules grevant le bien-fonds RF no xxx. Le 13 juin 2008, X._ et Y._ (ci-après: les acheteurs) et le vendeur ont signé un acte de vente conditionnelle portant sur la parcelle précitée. Dans l'acte, les acheteurs ont subordonné leur acquisition à la délivrance d'un permis de construire définitif et exécutoire, la non-réalisation de cette condition entraînant la caducité du contrat (art. 1); les acheteurs se sont obligés envers le vendeur à déposer en mains du Greffe municipal de ..., d'ici au 15 août 2008, un dossier d'enquête publique complet en vue de l'obtention du permis de construire. Ils ne pouvaient se prévaloir de la réserve formulée à l'art. 1 du contrat s'ils ne déposaient pas leur dossier dans ce délai (art. 2). Le prix de vente a été fixé à 110'000 fr. payable par un acompte de 11'000 fr. à verser sur le compte bancaire de l'association des notaires vaudois, sous la rubrique "Notaire A._", et par un montant de 99'000 fr. payable dans les trente jours dès réception par les acquéreurs du permis de construire (art. 10). En vue de l'obtention du permis de construire, les acheteurs se sont adressés à B._, entreprise de construction des chalets V._ Sàrl. Celui-ci, dans un courrier du 17 juillet 2008 envoyé au notaire A._, a indiqué "qu'il faudrait abolir l'acte de vente car nous n'avons aucune publicité (sic) pour arriver sur cette parcelle de terrain soit pour la construction, soit avec les automobiles et il n'y aura aucune place de parc pour le propriétaire du futur bâtiment". Entendu comme témoin, il a estimé que le dépôt auprès de la Municipalité d'une demande de permis de construire était une démarche inutile. Dans une lettre adressée au vendeur, C._, du bureau W._ SA, a indiqué que la construction d'un chemin pour tous véhicules légers sur le tracé de la servitude n'était pas réaliste. Selon lui, la seule solution serait de trouver un tracé plus adéquat et d'obtenir des propriétaires des parcelles touchées l'accord pour inscrire une nouvelle servitude. Dans un courrier du 31 juillet 2008 envoyé à Me A._, D._, architecte EPFL - SIA, a signalé, après expertise, que le chemin d'accès à la parcelle litigieuse présentait une pente de 30 à 34% et rappelé que la maison se trouverait à une altitude de 950 mètres et qu'elle serait susceptible de connaître des conditions d'enneigement. A cet égard, il a rappelé les normes de l'Union des professionnels suisses de la route (VSS) relatives aux pentes maximales. Le 26 août 2008, l'entreprise V._ Sàrl a transmis à X._ un dossier "à déposer à la commune de ... pour analyser le projet avant mise à l'enquête". Le dossier a été adressé à la Municipalité le 28 août 2008. Le 8 septembre 2008, celle-ci a répondu que si le chalet projeté semblait être conforme aux dispositions municipales, l'accès à la parcelle, selon le tracé de servitude de passage, ne pouvait toutefois être admis tel qu'il était présenté, en raison de la pente beaucoup trop importante. Elle indiquait qu'un arrangement devait être trouvé avec les propriétaires des parcelles voisines. Par courriers recommandés du 15 septembre 2008, le conseil du vendeur a mis en demeure les acheteurs de régler le solde du prix de vente auprès de Me A._. Le 5 janvier 2009, le courtier mandaté par le vendeur pour la vente de la parcelle a adressé à celui-ci une note d'honoraires de 5'918 fr. B. Par demande du 26 janvier 2009, les acheteurs ont conclu à ce que la vente conditionnelle soit déclarée caduque et à ce que l'ordre soit donné au notaire de leur restituer l'acompte de 11'000 fr. Par réponse du 17 février 2009, le vendeur a conclu au rejet des conclusions de la demande et, reconventionnellement, à ce que les acheteurs soient reconnus débiteurs conjoints et solidaires de la somme de 16'918 fr. avec intérêt à 5% dès le 26 septembre 2008 et à ce que le montant de 11'000 fr. consigné auprès de l'Association des notaires vaudois soit libéré en sa faveur, à valoir sur la somme de 16'918 fr. Le Président du Tribunal civil de l'arrondissement de l'Est vaudois a, par jugement du 28 septembre 2009, admis l'action des acheteurs et rejeté les conclusions reconventionnelles du vendeur. Il a jugé qu'un permis de construire n'aurait pas pu être délivré, dès lors que, vu la pente moyenne de 33 à 34% du terrain, la parcelle n'a aucun accès suffisant et qu'en conséquence la condition posée par le contrat du 13 juin 2008 était impossible. Statuant le 16 juin 2010, la Chambre des recours du Tribunal cantonal vaudois a admis le recours du vendeur et réformé le jugement de première instance en ce sens qu'elle a rejeté l'action des acheteurs et admis les conclusions reconventionnelles du vendeur. La cour cantonale a observé que l'exigence du dépôt d'une demande de permis de construire figure expressément, à titre d'incombance faite aux acquéreurs, à l'art. 2 du contrat de vente. Elle a ajouté que le vendeur n'a pas abusé de son droit en invoquant cette clause contractuelle, la délivrance d'un permis de construire n'étant pas impossible. Au demeurant, elle a souligné que les avis de B._, de C._ et de D._ ne font état que du caractère déraisonnable de la construction d'un accès utilisable par des véhicules sur le tracé de la servitude existante au vu de l'altitude de la parcelle litigieuse, de la pente du terrain et des prescriptions techniques des normes VSS; ces avis sont en revanche muets sur la possibilité d'obtenir un permis de construire. Quant à la prise de position de la Municipalité du 8 septembre 2008, qui est postérieure au 15 août 2008 (et ne pouvait donc justifier la renonciation, à cette dernière date, au dépôt d'une demande de permis de construire), l'autorité précédente a remarqué qu'elle avait trait à la construction d'une route sur le tracé de la servitude et qu'elle n'examinait pas la solution de la renonciation à un accès carrossable à la parcelle, moyennant la constitution d'une place de parc au bas de la pente. C. Les acheteurs exercent un recours constitutionnel subsidiaire contre l'arrêt cantonal du 16 juin 2010. Ils concluent, sous suite de frais et dépens, à sa réforme en ce sens qu'il soit dit que la vente du 13 juin 2008 est caduque et que l'ordre soit donné au notaire de leur restituer l'acompte de 11'000 fr. sur le prix de vente. Les recourants estiment que c'est à tort que l'autorité précédente a considéré que la réalisation de la condition de la délivrance d'un permis de construire était possible; selon eux, la cour cantonale est arrivée à sa conclusion sur la base "d'une triple argumentation dont [ils] entend[ent] démontrer qu'elle est grossièrement erronée". L'intimé conclut, avec dépens, à l'irrecevabilité du recours, subsidiairement à son rejet. Par ordonnance présidentielle du 29 novembre 2010, l'effet suspensif a été accordé au recours.