Faits: A. Les époux F.X._ et H.X._, de nationalité allemande et domiciliés en Allemagne, sont copropriétaires d'une parcelle sur la commune de A._, achetée en avril 1999. Par contrat du 17 novembre 2000, ils ont confié à Y._ la construction et la livraison clés en main d'un chalet pour le prix forfaitaire de 360'000 fr., TVA et frais ou taxes de raccordement compris. L'installation de chauffage, la cheminée, l'équipement sanitaire et les stores électriques n'étaient pas compris dans ce montant. Les époux X._ ont eu pour exigences, lors des pourparlers contractuels déjà, que le chalet soit suffisamment isolé, ce que Y._ s'est engagé à réaliser. Les mesures d'isolation à suivre, notamment l'épaisseur de l'isolation des différentes parties du bâtiment, ont été détaillées dans le descriptif de l'ouvrage, qui fait partie intégrante du contrat. S'agissant du chauffage, les époux X._ ont adhéré à la proposition de Y._, qui leur a conseillé un système de chauffage à basse température par pompe à chaleur monofluide, avec captage dans le terrain et chauffage au sol. Les travaux d'installation du chauffage ont été sous-traités à la société V._ Sàrl. Le descriptif de fonctionnement de la pompe à chaleur vantait son très bon rendement et ses propriétés écologiques, non polluantes et "sans aucun effet néfaste pour la vie humaine et la couche d'ozone". La remise des clés a eu lieu le 15 octobre 2001 et, en janvier 2002, les époux X._ sont venus définitivement s'installer à A._. Dès l'entrée en jouissance, des problèmes de chauffage ont été constatés, les propriétaires ne parvenant pas à chauffer correctement l'immeuble. A la fin de l'année 2003, le chauffagiste W._ SA a changé quelques pièces défectueuses, a procédé au réglage de la temporisation et au remplissage du circuit frigorifique de l'étage. Une fois ces réparations effectuées, le bon fonctionnement du chauffage a été constaté. Après avoir sollicité une analyse du fonctionnement de la pompe à chaleur auprès de la société U._ SA, les époux X._ ont mandaté l'architecte B._ pour une expertise. Dans son rapport, l'expert indiquait que l'isolation du chalet n'était pas conforme aux normes en vigueur et que, dans ces conditions, l'installation de chauffage ne pouvait pas fonctionner. Lors d'une séance tenue le 13 mars 2003, l'expert a communiqué à Y._ les défauts constatés. Un délai échéant le 15 juin 2003 a été imparti à Y._ pour remédier aux défauts constatés par l'expert B._. L'entrepreneur ne s'est pas exécuté, considérant que le coût devisé pour l'exécution des travaux nécessaires à la réfection du chalet était surfait. Il a toutefois réclamé le paiement du solde du coût de l'ouvrage et des travaux de plus-value, pour la somme de 11'154 fr.75. Ne parvenant toujours pas à se chauffer correctement, les époux X._ ont finalement décidé de retourner vivre en Allemagne. B. B.a Le 2 octobre 2003, F.X._ et H.X._ (les demandeurs et recourants) ont ouvert action contre Y._ (le défendeur et intimé) devant le juge des districts d'Hérens et Conthey. Ils concluaient à la réduction du prix de l'ouvrage à concurrence de 175'000 fr., avec intérêts, et à l'octroi d'un montant à titre de dommage consécutif au défaut. Le défendeur a conclu au rejet de la demande et, à titre reconventionnel, à la condamnation des parties adverses à lui payer la somme de 11'154 fr.75, avec intérêts à 5% l'an dès le 15 octobre 2001. Les demandeurs ont également déposé une requête de preuve à futur tendant à l'administration d'une expertise de l'installation de chauffage et d'une requête de mesures provisionnelles tendant à ce qu'ils soient autorisés à entreprendre les travaux de réfection utiles. Le défendeur ne s'est pas opposé à la requête de preuve à futur. Par décision du 26 novembre 2004, la procédure de preuve à futur a été clôturée et l'intégralité des frais a été provisoirement mise à la charge des demandeurs. Dans le cadre de la procédure de preuve à futur et de la procédure au fond, différentes expertises ont été administrées. L'architecte F._ s'est prononcé en janvier 2004, l'expert D._ en mai 2004, l'architecte C._ en juin 2006 et l'expert E._ en début d'année 2007. B.b Le dossier a été transmis au Tribunal cantonal valaisan pour jugement. Devant cette autorité, les demandeurs ont requis que le prix de l'ouvrage soit réduit de 139'217 fr.65, avec intérêts à 5% l'an dès le 15 octobre 2001, et de 2'297 fr.55, avec intérêts à 5% l'an dès le 1er juillet 2002. Ils ont également demandé la condamnation du défendeur à leur payer la somme de 134'000 fr., avec intérêts à 5% l'an dès le 1er octobre 2005, à titre de remboursement de la perte de loyer, et la somme de 13'000 fr. (11'000 fr. + 2'000 fr.), avec intérêts à 5% l'an dès le 25 avril 2003, à titre de remboursement des frais d'expertise privée. Le défendeur a conclu au rejet de la demande et, à titre reconventionnel, au paiement de la somme de 10'790 fr.10, avec intérêts à 5% l'an dès le 16 janvier 2004. Par jugement du 13 juillet 2009, la IIe Cour civile du Tribunal cantonal a condamné le défendeur à verser aux demandeurs 49'209 fr.90, avec intérêts à 5% dès le 4 décembre 2001 à concurrence de 9'209 fr.90 et dès le 11 juin 2002 à concurrence de 40'000 francs. Toutes autres et plus amples prétentions ont été rejetées. Les magistrats valaisans ont retenu que l'isolation du chalet ne correspondait pas aux qualités promises, alors que la pompe à chaleur, conforme à la législation en vigueur au moment de son installation, n'était pas défectueuse à proprement parler. L'avis des défauts d'isolation ayant été donné à temps, les juges cantonaux ont considéré que les demandeurs avaient droit à une réduction du prix de l'ouvrage équivalant au coût des travaux nécessaires à la suppression des défauts, qui a été arrêté, au regard des différents montants articulés par les experts, à 60'000 francs. Par contre, la prétention des demandeurs en réparation du dommage consécutif aux défauts a été entièrement rejetée. L'autorité cantonale a fixé à 367'300 fr. le prix de base de construction du chalet; elle a déduit de ce montant la moins-value consécutive aux défauts, par 60'000 fr., et y a ajouté une plus-value de 6'790 fr.10, découlant de l'expertise C._. Le défendeur ayant reconnu avoir reçu des demandeurs le montant de 363'300 fr., les magistrats ont arrêté que le défendeur était débiteur de la différence entre ce dernier montant et celui effectivement dû par les demandeurs (363'300 fr. - 314'090 fr.10 [367'300 fr. - 60'000 fr. + 6'790 fr.10]), à savoir 49'209 fr.90, avec intérêts. Les motifs de cet arrêt seront repris ci-dessous dans la mesure utile. C. Les demandeurs exercent un recours en matière civile contre le jugement cantonal. Ils concluent à son annulation, à ce que le prix de l'ouvrage soit réduit d'un montant de 79'217 fr.65, avec intérêts à 5% l'an dès le 15 octobre 2001, en sus des 60'000 fr. reconnus par l'autorité cantonale, et à la condamnation de la partie adverse à leur payer la somme d'au moins 16'800 fr., avec intérêts à 5% l'an dès le 1er octobre 2005, à titre de dommages-intérêts pour violation du contrat ou de réparation pour tort moral à la suite de la perte de l'usage du chalet consécutive aux défauts, le tout sous suite de frais et dépens. Le défendeur requiert le rejet du recours. La cour cantonale se réfère, quant à elle, aux considérants du jugement entrepris.