Faits: A. En 2003, les époux H.X._ et F.X._ ont mandaté l'architecte Y._ en vue de la rénovation d'un chalet dont ils sont propriétaires à Haute-Nendaz. L'architecte a déposé un projet le 7 septembre 2004, que les mandants ont modifié. Par la suite, ceux-ci ont encore commandé des travaux supplémentaires, d'entente avec l'architecte, lequel assurait la direction du chantier. Les entrepreneurs A._ et B._ SA ont notamment pris part à la réalisation. En juin 2004, l'architecte avait établi un premier devis au montant de 459'858 fr.95. Le 31 mai 2005, N._, collaborateur de l'architecte, a établi un devis au montant de 423'430 fr.20, présenté à Banque Z._ SA qui avait ouvert un compte de construction. Ce devis n'était cependant pas complet parce que certains travaux n'y figuraient pas; en outre, il avait été sciemment sous-évalué, à la demande expresse de H.X._. Le décompte de l'architecte du 8 février 2006 fait état de factures finales au total de 610'001 fr.06, soit une différence de plus de 150'000 fr. par rapport au devis du 31 mai 2005. A dire d'expert, le dépassement de devis correspond au coût des travaux nécessaires à la réalisation du projet, de ses modifications et des commandes supplémentaires passées en cours de chantier. Seuls certains des travaux supplémentaires ont fait l'objet d'un devis. D'une manière générale, l'évolution des coûts n'a pas été suivie de manière rigoureuse par l'architecte. N._ a considéré qu'il n'avait pas reçu la mission de veiller au strict respect des devis; il a reconnu n'avoir jamais avisé les maîtres de l'ouvrage d'éventuels dépassements et il a précisé n'avoir fait qu'une seule fois, en cours de chantier, le point de la situation des coûts. Selon l'architecte et son employé, le respect du devis n'était pas important pour les maîtres de l'ouvrage, lesquels décidaient de modifications sans se préoccuper de leur coût. H.X._ a ainsi requis et payé directement les services d'un carreleur, sans recourir à l'architecte. II a également commandé l'aménagement d'un mur, de places autour du bâtiment et de places de stationnement sans s'informer des coûts qui en résulteraient; il a rétribué l'entrepreneur de la main à la main, sans factures. Parmi les travaux supplémentaires, les époux H.X._ et F.X._ ont commandé l'exécution d'une terrasse en pierres naturelles, à réaliser par l'entrepreneur A._. L'architecte ne lui a pas fourni de détails d'exécution précis. Il n'a pas non plus exigé la pose d'une bande de glissement entre l'isolation du chalet et la terrasse, alors que les règles de l'art de construire l'imposaient de toute évidence. Cette omission a entraîné des fissures de l'isolation extérieure et la réparation de ce défaut a causé un dommage de 10'000 fr. aux maîtres de l'ouvrage. Ces derniers se sont également plaints d'un défaut dans l'écoulement des eaux usées; ce défaut n'est cependant imputable ni à l'architecte ni à l'entreprise B._ SA. Les maîtres de l'ouvrage avaient convenu avec Y._ d'une rémunération au tarif horaire de 103 fr. hors TVA. La facture finale, datée du 17 mai 2006, fait état de 526 heures de travail, soit 58'294 fr.80 taxe comprise. Des acomptes au total de 14'654 fr. ont été versés. B. Les entrepreneurs A._ et B._ SA ont obtenu l'inscription provisoire d'une hypothèque légale des artisans et entrepreneurs, à concurrence de 49'978 fr.60 et 8'295 fr.30 respectivement. Le 10 mai 2006, tous deux ont ouvert action contre les époux H.X._ et F.X._ devant le juge de district compétent; les défendeurs devaient être condamnés au paiement des montants précités pour prix de l'ouvrage livré. Les défendeurs ont appelé en cause l'architecte Y._. Celui-ci a conclu au rejet des conclusions prises contre lui; il a présenté des conclusions reconventionnelles, contre les défendeurs, tendant au paiement de 43'640 fr.80 pour solde d'honoraires, avec intérêts au taux de 5% par an dès le 18 juin 2006. Les défendeurs ont conclu au rejet de l'action reconventionnelle. L'instruction commune de ces causes a notamment comporté deux expertises judiciaires confiées à deux architectes. Ceux-ci ont relevé que la conduite du chantier avait été laborieuse et que la gestion des coûts n'avait pas été maîtrisée. S'agissant plus précisément des honoraires de l'architecte, l'expert Métrailler a estimé que les plans d'exécution n'avaient été élaborés qu'en partie, que les devis détaillés étaient incomplets, que le chantier n'avait pas été surveillé de manière professionnelle et qu'il n'y avait quasiment pas eu d'administration et de décompte final. Sur cette base, l'expert a estimé à 128 le nombre des heures admises pour l'ensemble de l'activité, soit pour les relevés, l'avant-projet et les dossiers de mise à l'enquête (40 heures), pour les plans sommaires d'exécution (40 heures) et pour la surveillance du chantier (48 heures), ce qui justifiait une rémunération totale de 13'184 francs. L'expert Gagliardi n'a pas proposé, lui, une répartition des heures consacrées aux différentes étapes de l'exécution; il a procédé à une ventilation grossière du temps employé. Partant de l'avis de l'expert Métrailler, il a évalué le travail de l'architecte à 20'000 fr. taxes comprises, ce qui correspond à 180 heures. Après clôture de l'instruction, les causes furent transmises pour jugement à la Ire Cour civile du Tribunal cantonal. Cette autorité s'est prononcée le 20 novembre 2010. Elle a partiellement accueilli les actions de A._ et de B._ SA. Accueillant partiellement l'action principale intentée par les défendeurs à l'appelé en cause Y._, elle a condamné celui-ci à verser un dédommagement de 5'000 fr. avec intérêts au taux de 5% par an dès le 7 juillet 2006. Elle a aussi accueilli partiellement l'action reconventionnelle de l'architecte et condamné les défendeurs à lui payer, à titre de solde d'honoraires, 27'346 fr. avec intérêts au même taux dès le 31 mai 2007. C. Agissant par la voie du recours en matière civile, les époux H.X._ et F.X._ requièrent le Tribunal fédéral de réformer le jugement en ce sens que l'action reconventionnelle de l'architecte Y._ soit entièrement rejetée. L'intimé conclut au rejet du recours, dans la mesure où celui-ci est recevable.