Faits: A. En automne 2001, H.X. et F.X._ ont demandé au bureau d'architecte V._ AG d'établir des plans pour la transformation en habitation d'un demi-chalet à l'état brut, sis ... et comportant trois garages accolés avec deux mansardes et deux caves. L'architecte a déposé la demande d'autorisation de construire le 6 décembre 2001; un coût total de 150'000 fr. y était mentionné. Les époux X._ connaissaient Y._, installateur de chauffage qui oeuvrait parfois en qualité d'entrepreneur général; ils l'ont chargé de procéder à la transformation de l'immeuble. Tout en conservant la responsabilité et la surveillance du chantier, Y._ a confié une grande partie des travaux à A._, constructeur de chalet. L'ouvrage a été réalisé en trois étapes entre novembre 2001 et novembre 2002. La première étape, qui s'étend jusqu'à fin janvier 2002, concerne les combles (deux chambres, le corridor et l'escalier) et le rez-de-chaussée supérieur (hall d'entrée et bureau). La deuxième étape, de mars à juillet 2002, porte également sur les combles (velux, armoire, radiateurs, raccordement électrique) et le rez-de-chaussée supérieur (hall, porte d'entrée, bureau, archives, salle d'eau, installations sanitaires et chauffage) ainsi que sur le rez-de-chaussée inférieur et le sous-sol (séjour, cuisine, salle d'eau, local technique, installations électriques, sanitaires et chauffage). Les deux premières étapes sont étroitement liées; les interventions s'entremêlent si bien, par exemple, que des travaux commencés lors de la première étape ont été achevés ou complétés au cours de la deuxième étape. La troisième étape, de l'été 2002 à novembre 2002, a vu la construction d'un local en annexe pour la chaufferie, la pose d'une citerne enterrée ainsi que l'installation et le raccordement d'une chaudière. Pour la première étape, les prestations attendues de Y._ et les travaux à réaliser n'ont pas été déterminés de manière précise; il n'existe ni cahier des charges, ni descriptif détaillé. Il n'y a pas eu non plus d'appel d'offres. Les travaux ont été attribués sur la base d'une simple offre de A._, datée du 1er décembre 2001. Ce document sommaire comprend une estimation des heures (160), un tarif horaire moyen (65 fr.) et une estimation des frais de déplacement (600 fr.) pour un montant total de 11'400 fr.; le coût des matériaux et des fournitures n'y figure pas. L'intervention de A._ pour la première étape a fait l'objet d'une facture du 12 février 2002 d'un montant de 67'819 fr.85. En faisant état notamment de 509,5 heures de travail et 1'200 fr. de frais de déplacement, cette facture s'éloigne considérablement de l'offre du 1er décembre 2001; elle n'a pas suscité de réaction particulière de la part des époux X._. Les travaux de la deuxième étape ont été attribués dans le même esprit et dans les mêmes conditions, à savoir sans cahier des charges ni descriptif détaillé, toujours selon le principe de la régie. Dans un devis du 25 février 2002, Y._ a estimé les coûts de la deuxième étape à 200'300 fr. Des choix et des commandes complémentaires ont été faits en cours de travaux; en effet, le chantier évoluait au gré des exigences et des souhaits des époux X._, qui ont participé quasiment à toutes les séances de chantier pour lesquelles un procès-verbal a été dressé. A une date indéterminée, des difficultés relationnelles ont surgi entre les époux X._ et Y._. Ce dernier ne s'est pas vu confier la direction des travaux de la troisième étape, au cours de laquelle il n'est intervenu que pour l'installation du chauffage. H.X. et F.X._ n'ont pas réglé intégralement les factures émises en rapport avec les travaux de transformation réalisés par Y._ en qualité d'entrepreneur général. B. B.a Sur requête de Y._ du 20 août 2003, le Juge du district de Sion a ordonné, à titre de preuve à futur, une expertise portant sur les travaux commandés par les époux X._ et la valeur des prestations fournies par le requérant. L'expert B._ a déposé son rapport définitif le 25 octobre 2004. B.b Le 18 février 2005, Y._ a ouvert action contre H.X. et F.X._ en paiement de 104'238 fr.30 avec intérêts à 5 % dès le 1er octobre 2002. Selon la demande, la prétention de Y._ s'élève à 337'238 fr.30 dont il faut déduire les acomptes versés par 233'000 fr. H.X. et F.X._ ont conclu au rejet de la demande et à la restitution des montants versés en trop à dire d'expert. En cours d'instruction, une nouvelle expertise portant sur le prix des prestations fournies par Y._ a été confiée à C._. Par jugement du 31 octobre 2008, la Cour civile I du Tribunal cantonal du canton du Valais a condamné solidairement H.X. et F.X._ à payer à Y._ le montant de 104'238 fr. avec intérêts à 5 % dès le 15 février 2005. Se fondant sur l'expertise B._, les juges cantonaux ont fixé à 334'541 fr.65 le prix de l'ouvrage en application de l'art. 374 CO. Après déduction d'acomptes par 230'000 fr., un solde de 104'541 fr.65, ramené à 104'238 fr. pour tenir compte des conclusions de la demande, était encore dû à l'entrepreneur. C. H.X. et F.X._ interjettent un recours en matière civile. Ils concluent à la réforme du jugement cantonal en ce sens que la demande est rejetée. L'effet suspensif réclamé par les recourants a été refusé par ordonnance présidentielle du 15 janvier 2009. Dans sa réponse, l'intimé propose le rejet du recours. Invitée à se déterminer, la cour cantonale se réfère aux considérants de sa décision.