Faits : A. Par convention de vente du 26 mai 2009, H.A._ et son épouse F.A._ ont vendu l'ensemble des actions du L._ SA à M._ et N._ SA, représentée par son administrateur unique U._, pour un montant de 240'000 fr. Le contrat de vente a été rédigé par le notaire B._. Ce dernier est également intervenu comme consignataire. Le chiffre II de la convention indique que le prix de vente est composé de 183'068 fr. à titre d'« installations, mobiliers et matériels selon liste détaillée ci-annexée»et de 56'932 fr. à titre de «goodwill, clientèle». Il spécifie en outre: " Le prix de vente a été versé sur le compte de consignation du notaire (...). Il sera ensuite crédité à hauteur de 157'715 fr.75 aux vendeurs, conformément aux instructions en possession de l'officier public. Le solde fera l'objet d'un décompte entre parties. Quittance du paiement du prix de vente est ici donnée aux acheteurs. " Le chiffre VI de la convention a la teneur suivante : " Un décompte acheteur-vendeur sera établi par la partie la plus diligente au plus tard le 28 février 2010. Les frais de ce décompte seront partagés en égales parts entre les vendeurs et les vendeurs (sic). Le décompte sera soumis par lettre recommandée à l'autre partie qui dispose d'un délai de 30 jours pour faire valoir ses observations. Le silence vaut acceptation du décompte. Le solde est exigible dans les trente jours, à l'issue duquel il est productif d'un intérêt annuel de huit pourcent. " Le jour de la signature de la convention, le prix de vente des actions, soit 240'000 fr., a été versé par les acheteurs sur le compte de consignation du notaire. L'ordre de versement, valeur au 26 mai 2009, émanait de N._ SA. Le 27 mai 2009, le notaire a versé la somme de 157'715 fr.75 aux vendeurs. Le 30 mai 2009, U._ a adressé un courrier au notaire lui demandant de ristourner à N._ SA 82'284 fr.25, représentant le solde du montant déposé par les acheteurs sur son compte de consignation. Le notaire s'est exécuté le 4 juin 2009. Aucun décompte au sens des chiffres II et VI de la convention n'a été produit par l'une ou l'autre des parties. Par lettre de leur conseil commun du 2 février 2012, les vendeurs ont mis en demeure le notaire de leur verser, dans les dix jours, le solde du prix de vente par 82'284 fr.25. Le 6 février 2012, le notaire leur a répondu qu'il n'était plus en possession du montant réclamé, les invitant à procéder à quelques vérifications avant d'affirmer des choses inexactes et leur laissant le choix d'agir contre lui, tout en précisant qu'ils se trompaient de cible. H.A._ a introduit une poursuite contre N._ SA pour la somme de 82'284 fr.25, au titre du "solde prix de vente L._". La poursuivie a formé opposition totale au commandement de payer notifié le 23 avril 2012. B. A la suite de l'échec de la conciliation, H.A._ et F.A._ ont saisi le Tribunal civil de l'arrondissement de Lausanne, le 27 janvier 2014, d'une demande en paiement dirigée contre B._, tendant à ce qu'il soit reconnu leur débiteur et leur doive solidairement paiement de 82'285 fr.25, plus intérêts. Par jugement du 30 septembre 2016, le Tribunal civil a rejeté la demande. En droit, les premiers juges ont écarté l'existence d'un mandat confié au notaire par les parties à la convention de vente d'actions, dès lors qu'il était chargé d'une obligation de résultat, consistant à « consigner une somme d'argent» (lire plutôt : recevoir en consignation), puis à en reverser une partie aux vendeurs. Il s'agissait bien plutôt d'un contrat innommé, dit d'« escrow ». La convention de vente ne prévoyait rien quant au sort réservé au solde du prix de vente. A fortiori, elle ne permettait pas aux vendeurs de s'adresser directement au notaire pour réclamer le versement de la somme en question. Faute de stipulation pour autrui parfaite, les demandeurs devaient être déboutés de leurs conclusions en paiement. Par arrêt du 13 juillet 2017, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel des vendeurs en confirmant pour l'essentiel le raisonnement des premiers juges. C. F.A._ et H.A._ interjettent un recours en matière civile. Ils concluent à la condamnation de B._ à leur payer la somme de 82'285 fr.25 plus intérêts à 8% dès le 30 mars 2010. Dans sa réponse, B._ propose le rejet du recours. Les recourants ont déposé ensuite des observations, sans susciter de duplique de l'intimé. Pour sa part, la cour cantonale se réfère aux considérants de son arrêt.