Faits:
A. Les époux F.X._ et H.X._, de nationalité allemande et domiciliés en Allemagne, sont copropriétaires d'une parcelle sur la commune de A._, achetée en avril 1999.
Par contrat du 17 novembre 2000, ils ont confié à Y._ la construction et la livraison clés en main d'un chalet pour le prix forfaitaire de 360'000 fr., TVA et frais ou taxes de raccordement compris. L'installation de chauffage, la cheminée, l'équipement sanitaire et les stores électriques n'étaient pas compris dans ce montant.
Les époux X._ ont eu pour exigences, lors des pourparlers contractuels déjà, que le chalet soit suffisamment isolé, ce que Y._ s'est engagé à réaliser. Les mesures d'isolation à suivre, notamment l'épaisseur de l'isolation des différentes parties du bâtiment, ont été détaillées dans le descriptif de l'ouvrage, qui fait partie intégrante du contrat.
S'agissant du chauffage, les époux X._ ont adhéré à la proposition de Y._, qui leur a conseillé un système de chauffage à basse température par pompe à chaleur monofluide, avec captage dans le terrain et chauffage au sol. Les travaux d'installation du chauffage ont été sous-traités à la société V._ Sàrl. Le descriptif de fonctionnement de la pompe à chaleur vantait son très bon rendement et ses propriétés écologiques, non polluantes et "sans aucun effet néfaste pour la vie humaine et la couche d'ozone".
La remise des clés a eu lieu le 15 octobre 2001 et, en janvier 2002, les époux X._ sont venus définitivement s'installer à A._. Dès l'entrée en jouissance, des problèmes de chauffage ont été constatés, les propriétaires ne parvenant pas à chauffer correctement l'immeuble. A la fin de l'année 2003, le chauffagiste W._ SA a changé quelques pièces défectueuses, a procédé au réglage de la temporisation et au remplissage du circuit frigorifique de l'étage. Une fois ces réparations effectuées, le bon fonctionnement du chauffage a été constaté.
Après avoir sollicité une analyse du fonctionnement de la pompe à chaleur auprès de la société U._ SA, les époux X._ ont mandaté l'architecte B._ pour une expertise. Dans son rapport, l'expert indiquait que l'isolation du chalet n'était pas conforme aux normes en vigueur et que, dans ces conditions, l'installation de chauffage ne pouvait pas fonctionner. Lors d'une séance tenue le 13 mars 2003, l'expert a communiqué à Y._ les défauts constatés.
Un délai échéant le 15 juin 2003 a été imparti à Y._ pour remédier aux défauts constatés par l'expert B._. L'entrepreneur ne s'est pas exécuté, considérant que le coût devisé pour l'exécution des travaux nécessaires à la réfection du chalet était surfait. Il a toutefois réclamé le paiement du solde du coût de l'ouvrage et des travaux de plus-value, pour la somme de 11'154 fr.75.
Ne parvenant toujours pas à se chauffer correctement, les époux X._ ont finalement décidé de retourner vivre en Allemagne.
B. B.a Le 2 octobre 2003, F.X._ et H.X._ (les demandeurs et recourants) ont ouvert action contre Y._ (le défendeur et intimé) devant le juge des districts d'Hérens et Conthey. Ils concluaient à la réduction du prix de l'ouvrage à concurrence de 175'000 fr., avec intérêts, et à l'octroi d'un montant à titre de dommage consécutif au défaut. Le défendeur a conclu au rejet de la demande et, à titre reconventionnel, à la condamnation des parties adverses à lui payer la somme de 11'154 fr.75, avec intérêts à 5% l'an dès le 15 octobre 2001.
Les demandeurs ont également déposé une requête de preuve à futur tendant à l'administration d'une expertise de l'installation de chauffage et d'une requête de mesures provisionnelles tendant à ce qu'ils soient autorisés à entreprendre les travaux de réfection utiles. Le défendeur ne s'est pas opposé à la requête de preuve à futur.
Par décision du 26 novembre 2004, la procédure de preuve à futur a été clôturée et l'intégralité des frais a été provisoirement mise à la charge des demandeurs.
Dans le cadre de la procédure de preuve à futur et de la procédure au fond, différentes expertises ont été administrées. L'architecte F._ s'est prononcé en janvier 2004, l'expert D._ en mai 2004, l'architecte C._ en juin 2006 et l'expert E._ en début d'année 2007.
B.b Le dossier a été transmis au Tribunal cantonal valaisan pour jugement. Devant cette autorité, les demandeurs ont requis que le prix de l'ouvrage soit réduit de 139'217 fr.65, avec intérêts à 5% l'an dès le 15 octobre 2001, et de 2'297 fr.55, avec intérêts à 5% l'an dès le 1er juillet 2002. Ils ont également demandé la condamnation du défendeur à leur payer la somme de 134'000 fr., avec intérêts à 5% l'an dès le 1er octobre 2005, à titre de remboursement de la perte de loyer, et la somme de 13'000 fr. (11'000 fr. + 2'000 fr.), avec intérêts à 5% l'an dès le 25 avril 2003, à titre de remboursement des frais d'expertise privée.
Le défendeur a conclu au rejet de la demande et, à titre reconventionnel, au paiement de la somme de 10'790 fr.10, avec intérêts à 5% l'an dès le 16 janvier 2004.
Par jugement du 13 juillet 2009, la IIe Cour civile du Tribunal cantonal a condamné le défendeur à verser aux demandeurs 49'209 fr.90, avec intérêts à 5% dès le 4 décembre 2001 à concurrence de 9'209 fr.90 et dès le 11 juin 2002 à concurrence de 40'000 francs. Toutes autres et plus amples prétentions ont été rejetées.
Les magistrats valaisans ont retenu que l'isolation du chalet ne correspondait pas aux qualités promises, alors que la pompe à chaleur, conforme à la législation en vigueur au moment de son installation, n'était pas défectueuse à proprement parler. L'avis des défauts d'isolation ayant été donné à temps, les juges cantonaux ont considéré que les demandeurs avaient droit à une réduction du prix de l'ouvrage équivalant au coût des travaux nécessaires à la suppression des défauts, qui a été arrêté, au regard des différents montants articulés par les experts, à 60'000 francs. Par contre, la prétention des demandeurs en réparation du dommage consécutif aux défauts a été entièrement rejetée. L'autorité cantonale a fixé à 367'300 fr. le prix de base de construction du chalet; elle a déduit de ce montant la moins-value consécutive aux défauts, par 60'000 fr., et y a ajouté une plus-value de 6'790 fr.10, découlant de l'expertise C._. Le défendeur ayant reconnu avoir reçu des demandeurs le montant de 363'300 fr., les magistrats ont arrêté que le défendeur était débiteur de la différence entre ce dernier montant et celui effectivement dû par les demandeurs (363'300 fr. - 314'090 fr.10 [367'300 fr. - 60'000 fr. + 6'790 fr.10]), à savoir 49'209 fr.90, avec intérêts.
Les motifs de cet arrêt seront repris ci-dessous dans la mesure utile.
C. Les demandeurs exercent un recours en matière civile contre le jugement cantonal. Ils concluent à son annulation, à ce que le prix de l'ouvrage soit réduit d'un montant de 79'217 fr.65, avec intérêts à 5% l'an dès le 15 octobre 2001, en sus des 60'000 fr. reconnus par l'autorité cantonale, et à la condamnation de la partie adverse à leur payer la somme d'au moins 16'800 fr., avec intérêts à 5% l'an dès le 1er octobre 2005, à titre de dommages-intérêts pour violation du contrat ou de réparation pour tort moral à la suite de la perte de l'usage du chalet consécutive aux défauts, le tout sous suite de frais et dépens.
Le défendeur requiert le rejet du recours. La cour cantonale se réfère, quant à elle, aux considérants du jugement entrepris.

Considérant en droit:
1. 1.1 Interjeté par les parties demanderesses qui ont partiellement succombé dans leurs conclusions condamnatoires (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. b et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.1 p. 105). Par exception à la règle selon laquelle le Tribunal fédéral applique le droit d'office (<ref-law>), il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>) et toute conclusion nouvelle est irrecevable (<ref-law>).
2. En raison du domicile à l'étranger des recourants, la cause revêt un caractère international et le Tribunal fédéral, saisi d'un recours en matière civile, doit examiner d'office la question du droit applicable (<ref-ruling> consid. 4 p. 614, 626 consid. 2 p. 629; <ref-ruling> consid. 2 p. 515). A défaut d'élection de droit par les parties, la question doit être tranchée à la lumière de l'<ref-law>. La cour cantonale a correctement appliqué cette disposition en retenant que le contrat d'entreprise totale, qui lie les parties, est soumis au droit suisse, car la prestation caractéristique dudit contrat est bien la construction d'un chalet et l'intimé, qui devait fournir cette prestation, est domicilié en Suisse (<ref-law>; BERNARD DUTOIT, Droit international privé suisse, Bâle 2005, no 25 ad <ref-law>).
Les recourants ne remettent pas en cause la qualification juridique du contrat - contrat d'entreprise totale - signé entre les parties, ni l'application de la norme SIA 118 (dans sa version 1977/1991) s'agissant de la garantie des défauts.
3. Dans l'intitulé de leur premier grief, les recourants évoquent une interprétation erronée (« falsche Auslegung ») de la notion de défaut au sens des art. 165 al. 1 et 166 de la norme SIA 118. Ils font également état d'une interprétation erronée de la répartition du fardeau de la preuve prévue à l'art. 174 al. 3 SIA 118.
3. Dans l'intitulé de leur premier grief, les recourants évoquent une interprétation erronée (« falsche Auslegung ») de la notion de défaut au sens des art. 165 al. 1 et 166 de la norme SIA 118. Ils font également état d'une interprétation erronée de la répartition du fardeau de la preuve prévue à l'art. 174 al. 3 SIA 118.
3.1 3.1.1 La norme SIA 118 précise, en son art. 165 al. 1, que l'entrepreneur est tenu de livrer un ouvrage sans défaut. Il y a défaut, au sens de l'art. 166 de cette même norme, si l'ouvrage livré n'est pas conforme à celui qui était prévu par le contrat (al. 1); le défaut consiste en l'absence soit d'une qualité promise ou autrement convenue, soit d'une qualité que le maître était de bonne foi en droit d'attendre, même sans convention spéciale (al. 2).
La notion de défaut de l'art. 166 al. 1 et 2 SIA 118 est la même que celle découlant de l'<ref-law> (PETER GAUCH, Le contrat d'entreprise, adaptation française par Benoît Carron, 1999, no 2648, p. 719). L'ouvrage est entaché d'un défaut au sens de cette dernière disposition lorsqu'il ne possède pas les qualités convenues - expressément ou tacitement - par les parties, ou les qualités auxquelles le maître pouvait s'attendre d'après les règles de la bonne foi (arrêt 4C.130/2006 du 8 mai 2007 consid. 3.1; FRANÇOIS CHAIX, Commentaire romand, no 5 ad <ref-law>; GAUCH, op. cit., no 1352 ss, p. 394 ss; BERNARD CORBOZ, Contrat d'entreprise III, Les défauts de l'ouvrage, Fiche juridique suisse no 460, p. 1 ss). S'agissant du premier type de défauts, il ne faut pas se limiter à ce qui a été expressément formulé, mais il convient de rechercher, selon les règles générales d'interprétation, ce que les parties ont voulu dans chaque cas concret. Quant à la qualité attendue, elle vise d'une part la matière utilisée - qui ne doit pas être de qualité inférieure à la moyenne (cf. <ref-law>) - et concerne, d'autre part, les propriétés nécessaires ou usuelles pour l'usage convenu (arrêt 4C.130/2006 précité et les références).
Il peut y avoir défaut au sens juridique, alors même qu'il n'y a pas défaut au sens technique et inversement (PIERRE TERCIER/PASCAL G. FAVRE, Les contrats spéciaux, 2009, no 4477, p. 675; BLAISE CARRON, La "SIA 118" pour les non-initiés, in Journées suisses du droit de la construction, 2007, 1 ss, p. 28). Pour juger si l'ouvrage est conforme, il y a lieu de tenir compte de son état au moment de la livraison, mais aussi, par la suite, de l'état qu'il doit conserver dans la durée (PIERRE TERCIER/PASCAL G. FAVRE, op. cit., no 4478, p. 675; GAUCH, op. cit., nos 1451 ss, p. 419 ss).
3.1.2 Pour les recourants, la cour cantonale a méconnu la notion de défaut, telle que précisée au considérant précédent, pour avoir nié que l'installation de chauffage était défectueuse. Ils prétendent, référence faite au contenu des expertises D._ et C._, que l'installation de chauffage ne fonctionnait pas comme prévu et affirment que les problèmes de l'isolation du chalet et de l'installation de chauffage auraient dû être appréhendés conjointement. Ces derniers, dans leur ensemble, permettent en effet de fournir la chaleur minimale requise de façon uniforme dans toutes les pièces du chalet, en tant que qualité usuelle de l'ouvrage que le maître est en droit d'attendre.
S'il ne peut être nié, comme le soutiennent les recourants, que le maître d'un ouvrage est effectivement en droit, sous l'angle de l'utilité usuelle, d'attendre que l'installation de chauffage fournisse un seuil de température minimale dans toutes les pièces, il ne faut toutefois pas perdre de vue que, dans le cas d'espèce, les juges valaisans ont retenu que, dans l'hypothèse où le chalet avait été correctement isolé, la pompe à chaleur aurait permis de le chauffer convenablement. Dans la mesure où les recourants font fi de cette considération, leur raisonnement est vain.
Pour le surplus, il ressort du jugement entrepris - sans que les recourants n'y reviennent - que ces derniers pouvaient s'attendre, compte tenu du système de chauffage choisi, à disposer d'une installation apte à leur assurer un confort thermique élevé et qui réponde aux normes légales. Leur volonté était de bénéficier d'un système qui consomme peu d'énergie et occasionne peu de nuisances pour l'environnement.
Or, rien n'indique que, sans le défaut d'isolation avéré, les propriétés de la pompe à chaleur ne correspondaient pas à ce que voulaient les parties ou à ce qu'elles pouvaient attendre. Il n'a en particulier pas été établi que la consommation d'énergie de l'installation de chauffage, arrêtée comme étant supérieure à celle initialement prévue, était liée au système lui-même, sans rapport avec l'isolation défaillante. Aucune dénonciation d'un état de fait arbitraire ou établi en violation du droit au sens de l'<ref-law> n'est soulevée par les recourants en lien avec ces questions, étant observé que la référence au contenu de deux des quatre expertises administrées, sans autre forme de démonstration, ne permet pas d'établir l'arbitraire dans la constatation des faits.
Les recourants ne soutiennent par ailleurs pas que l'installation de chauffage n'était pas conforme à la législation en vigueur au moment de son installation.
Quant aux substances nocives pour la couche d'ozone contenues dans la pompe à chaleur, que la cour cantonale n'a pas examinées sous l'angle du défaut, les recourants ne prétendent pas que leur présence a été signalée à l'intimé comme étant contraire à ce qui était convenu, ou encore à ce qu'ils pouvaient attendre, et un tel avis ne ressort pas des constatations souveraines. La question d'un éventuel défaut lié à cet état de fait peut ainsi demeurer indécise.
On ne saurait enfin déduire de la nécessité de changer une vanne de secteur postérieurement à l'installation du système de chauffage que celui-ci était défectueux, dès lors qu'il ne ressort pas des faits de la cause que la vanne ne fonctionnait pas au moment de la livraison. Il n'apparaît par ailleurs pas que la détérioration constatée, survenue trois ans après l'installation de l'ouvrage, était anormale. De même, il n'y a pas lieu d'admettre un défaut de l'installation de chauffage du fait que le fonctionnement de la pompe à chaleur n'était pas réglé sur la température extérieure, puisqu'il ne découle pas de l'état de fait déterminant que les parties avaient convenu la pose d'un tel système, considéré, par les juges cantonaux, comme apportant une plus-value à l'installation. Par ailleurs, les règles de la bonne foi ne permettent pas d'induire que les recourants étaient en droit d'attendre la pose d'un dispositif de régulation de température.
Au regard de ce qui précède, il n'apparaît pas que le système de chauffage livré n'était pas conforme au contrat ou dépourvu d'une qualité promise, prévue ou prévisible.
Il s'ensuit que la cour cantonale n'a pas fait une application erronée de la notion de défaut tel que découlant des normes SIA 118 invoquées.
3.2 En ce qui concerne le volet de la critique relative à l'art. 174 al. 3 SIA 118, force est de constater que les recourants n'y consacrent pas la moindre motivation, ce qui conduit à son irrecevabilité (<ref-law>). Au demeurant, la répartition du fardeau de la preuve au sens de la disposition précitée - qui prévoit un renversement du fardeau de la preuve par rapport au droit ordinaire - n'a plus d'objet, dès lors que l'autorité cantonale est parvenue à la conviction que l'installation de chauffage n'était pas défectueuse, après s'être livrée à une appréciation des preuves apportées au cours de l'instruction (sur la question, voir notamment JOHANNES ZUPPIGER, Die Beweislastumkehr in Art. 174 Abs. 3 SIA-Norm 118, Jusletter du 13 juin 2005).
4. Les recourants estiment que, de manière contraire à ce qui a été retenu par les juges cantonaux, le délai de garantie de deux ans de l'art. 172 SIA 118 n'était pas expiré s'agissant du défaut lié à la porte de liaison entre le garage du chalet et la zone habitable. Ils soutiennent que ce défaut a été valablement dénoncé, en temps utile, par l'expertise B._. Ils précisent encore que la notification du rapport d'expertise C._ demeure sans incidence sur leur devoir d'avis, dès lors qu'il ne s'agit ni d'une expertise privée ni d'une expertise au sens de l'<ref-law>.
Les recourants semblent perdre de vue que l'expertise privée à laquelle ils se réfèrent ne fait pas état de la conformité de la porte de liaison aux normes anti-feu, mais dénonce un défaut d'isolation de cette même porte. Les recourants prétendent donc à tort que la notification de cette expertise a valeur d'avis de défaut en ce qui concerne la question des prescriptions anti-feu.
Les recourants abondent par ailleurs dans le sens du jugement cantonal, lorsqu'ils affirment que la notification du rapport d'expertise C._, en 2006, ne valait pas avis des défauts. Dans la mesure toutefois où les recourants ne prétendent pas, dans leur motivation, qu'un avis des défauts ultérieur au délai de garantie de deux ans a été donné au sens de l'art. 179 al. 2 SIA 118, qui prévoit que l'entrepreneur répond des défauts cachés à la condition que le maître les lui signale aussitôt après leur découverte, leur argumentation tombe à faux.
5. Les recourants dénoncent aussi une interprétation subjective ("subjektive Auslegung") par l'autorité cantonale des art. 169 et 172 SIA 118, en lien avec le coût estimé des travaux nécessaires à la suppression des défauts. Ils sont d'avis, s'agissant de ces travaux, qu'un montant supplémentaire de 79'217 fr.65 par rapport aux 60'000 fr. déjà alloués devrait leur être octroyé. Pour justifier leur point de vue, ils se réfèrent aux divers montants extraits des expertises versées au dossier.
Après avoir apprécié les expertises F._, C._, D._ et E._, les magistrats valaisans ont fixé à 60'000 fr. le coût des travaux nécessaires à la suppression des défauts; cette somme est composée de 8'000 fr. pour l'isolation de la cave, de 12'000 fr. pour le changement des fenêtres, de 5'000 fr. pour les autres travaux accessoires et de 35'000 fr. pour l'isolation mur-toit. Les magistrats ont expressément relevé l'absence de preuve d'une valeur supérieure aux différents montants articulés par les experts.
La cour cantonale s'est prononcée au terme d'une appréciation des preuves, qui n'est aucunement remise en cause par les recourants. Ces derniers ne démontrent en particulier pas que les juges cantonaux auraient, de manière insoutenable, omis de prendre en compte un (ou des) élément(s) de preuve à même d'établir que les travaux de réfection à effectuer étaient plus importants que ceux retenus par la cour cantonale. A défaut de tout grief d'arbitraire invoqué et motivé de manière précise sur ce point par les recourants (<ref-law>), la critique est vaine.
En tout état de cause, on ne voit pas en quoi l'autorité cantonale aurait mal interprété l'art. 169 SIA 118, dès lors que la primauté du droit à la réfection de l'ouvrage, consacrée par cette disposition (cf. <ref-ruling> consid. 2b/bb p. 453), a en l'état été respectée. Quant au moyen tiré du non-respect du délai de garantie de deux ans prévu à l'art. 172 SIA 118, qui ne fait l'objet d'aucune motivation conforme aux exigences de l'<ref-law>, il a été précédemment écarté (cf. supra, consid. 5).
6. Les recourants critiquent encore le refus, par l'autorité cantonale, de tout octroi de dommages-intérêts consécutifs aux défauts au sens de l'art. 169 SIA 118 (recte: 171 SIA 118) et d'une indemnité pour tort moral.
6.1 L'autorité cantonale a nié que les frais d'expertise privée et la perte de location alléguée constituaient un dommage consécutif au défaut. Dès lors que la question de l'inexistence d'un dommage relève des faits et non pas du droit (<ref-ruling> consid. 4.2.1 p. 153; <ref-ruling> consid. 3c p. 75; <ref-ruling> consid. 3b p. 222 s.) et que les recourants ne se livrent à aucune démonstration de l'arbitraire sur ce point de fait et, encore moins, ne dénoncent une violation du droit au sens de l'<ref-law>, le grief développé en lien avec le refus d'octroi de tous dommages-intérêts est d'ores et déjà infondé.
En outre, quoi qu'en disent les recourants, aucune diminution de la fortune nette des recourants en relation avec une hypothétique perte de jouissance du chalet ne ressort de l'état de fait souverain. Il est par ailleurs de jurisprudence que la perte de l'usage d'un bien ne constitue pas en soi un dommage au sens juridique (<ref-ruling> consid. 11a p. 394).
Il en découle que la question, évoquée par les recourants, d'une violation par l'instance précédente du principe "iura novit curia" en lien avec l'octroi de dommages-intérêts consécutifs à la perte d'usage de leur chalet est privée de tout fondement.
6.2 Concernant la critique relative au tort moral, il n'apparaît pas que les recourants ont conclu, devant la cour cantonale, à l'octroi d'une indemnité pour tort moral au sens de l'<ref-law>. N'ayant pas été soumise à l'instance précédente, la conclusion est nouvelle et le Tribunal fédéral ne saurait entrer en matière (<ref-law>).
7. Les recourants se plaignent enfin de la répartition des frais et dépens opérée par l'autorité cantonale.
Ce moyen ressortit au droit cantonal. Or, les recourants ne dénoncent aucune violation arbitraire de ce droit (<ref-law>). A défaut de motivation suffisante, le grief est irrecevable.
En outre, au regard du sort réservé au présent recours, il ne se justifie pas de réexaminer la décision sur les frais et dépens prise par l'autorité précédente ou de renvoyer la cause à cette autorité pour nouvelle décision, comme le prévoit les art. 67 et 68 al. 5 LTF (cf. BERNARD CORBOZ, in Commentaire de la LTF, 2009, no 48 ad <ref-law>).
8. Le recours se révèle privé de fondement, pour autant qu'il soit recevable. A titre de partie qui succombe, les recourants doivent acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels l'autre partie peut prétendre (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement à l'intimé une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour civile I.
Lausanne, le 4 décembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget