Faits: A. H.X._ et F.X._ sont propriétaires d'une ancienne ferme sise dans la commune de .... Par un « contrat d'adjudication de travaux » conclu le 28 février 2005, ils ont chargé Z._ d'exécuter la transformation et l'agrandissement du logement existant dans ce bâtiment. Le prix des travaux était alors estimé à 200'000 fr., hormis certaines prestations, telles les frais d'architecte, à rémunérer en sus. Un architecte a effectivement établi les plans nécessaires à la procédure du permis de construire. Les propriétaires ont reçu le 3 mai 2005 un devis au total de 257'200 fr. qu'ils ont refusé de signer. Les travaux ont néanmoins débuté et Z._ a reçu, sur le prix, deux acomptes au total de 140'000 francs. Les propriétaires ont aussi payé directement divers fournisseurs et entrepreneurs sous-traitants. Le 11 janvier 2006, les propriétaires ont contesté une facture intermédiaire et une facture pour « travaux hors devis » que Z._ leur avait récemment adressées. Celui-ci leur a présenté une nouvelle facture le 6 février. Par lettre du 8 février 2006, représentés par un avocat, les propriétaires ont signifié à Z._ qu'ils mettaient fin au contrat avec effet immédiat, « en raison notamment mais non exclusivement des innombrables défauts affectant vos prestations, et que vous n'apparaissez pas pouvoir gérer efficacement ». Z._ devait établir sa facture finale et il lui était désormais interdit d'entrer dans le bâtiment. B. Devant le Juge de paix compétent, les propriétaires ont requis une expertise hors procès qui fut confiée à l'architecte Yves Filipozzi. Celui-ci a rendu son rapport le 31 août 2006. Il y a énuméré de très nombreux défauts de l'ouvrage et il a aussi constaté, en stigmatisant le « dilettantisme » de Z._, que les opérations nécessaires à la planification, à la conduite et à la surveillance d'un chantier, normalement attendues d'un entrepreneur général, n'ont pas été accomplies. Le 5 février 2008, les propriétaires ont ouvert action contre Z._ devant le Tribunal civil de l'arrondissement de la Côte. Après amplification de la demande, le défendeur devait être condamné à payer 99'999 fr. à titre de dommages-intérêts, avec intérêts au taux de 5% par an, dès cette date-ci sur 69'098 fr.65 et dès le 19 mars 2009 sur le solde. Le défendeur a conclu au rejet de l'action. Le tribunal a confié une nouvelle mission d'expertise à l'architecte Christophe Mercier; il a en outre entendu divers témoins. Ce deuxième expert a lui aussi trouvé de nombreux et importants défauts dans l'ouvrage exécuté par le défendeur. Le tribunal s'est prononcé le 30 novembre 2009. Il a constaté l'exécution défectueuse de l'ouvrage et jugé que les demandeurs ont droit à des dommages-intérêts correspondant, surtout, aux frais d'élimination des défauts; accueillant l'action, il a condamné le défendeur à payer aux demandeurs, créanciers solidaires, 69'098 fr.65 avec intérêts dès le 7 mars 2008 et 30'900 fr.35 avec intérêts dès le 20 mars 2009. C. Saisie par le défendeur, la Chambre des recours du Tribunal cantonal lui a donné gain de cause le 13 avril 2011; elle a réformé le jugement en ce sens que l'action est entièrement rejetée. D. Agissant par la voie du recours en matière civile, les demandeurs requièrent le Tribunal fédéral de confirmer le jugement du Tribunal civil, ou, subsidiairement, d'annuler l'arrêt de la Chambre des recours et de renvoyer la cause à cette autorité pour nouvelle décision. Les demandeurs étant condamnés aux dépens des deux instances cantonales, ils ont introduit une demande d'effet suspensif afin de n'avoir pas à payer ces montants en l'état. Invité à répondre, le défendeur conclut au rejet de la demande d'effet suspensif et au rejet du recours, dans la mesure où celui-ci est recevable.