Faits:
A. H.X._ et F.X._ sont propriétaires d'une ancienne ferme sise dans la commune de .... Par un « contrat d'adjudication de travaux » conclu le 28 février 2005, ils ont chargé Z._ d'exécuter la transformation et l'agrandissement du logement existant dans ce bâtiment. Le prix des travaux était alors estimé à 200'000 fr., hormis certaines prestations, telles les frais d'architecte, à rémunérer en sus. Un architecte a effectivement établi les plans nécessaires à la procédure du permis de construire.
Les propriétaires ont reçu le 3 mai 2005 un devis au total de 257'200 fr. qu'ils ont refusé de signer. Les travaux ont néanmoins débuté et Z._ a reçu, sur le prix, deux acomptes au total de 140'000 francs. Les propriétaires ont aussi payé directement divers fournisseurs et entrepreneurs sous-traitants.
Le 11 janvier 2006, les propriétaires ont contesté une facture intermédiaire et une facture pour « travaux hors devis » que Z._ leur avait récemment adressées. Celui-ci leur a présenté une nouvelle facture le 6 février.
Par lettre du 8 février 2006, représentés par un avocat, les propriétaires ont signifié à Z._ qu'ils mettaient fin au contrat avec effet immédiat, « en raison notamment mais non exclusivement des innombrables défauts affectant vos prestations, et que vous n'apparaissez pas pouvoir gérer efficacement ». Z._ devait établir sa facture finale et il lui était désormais interdit d'entrer dans le bâtiment.
B. Devant le Juge de paix compétent, les propriétaires ont requis une expertise hors procès qui fut confiée à l'architecte Yves Filipozzi. Celui-ci a rendu son rapport le 31 août 2006. Il y a énuméré de très nombreux défauts de l'ouvrage et il a aussi constaté, en stigmatisant le « dilettantisme » de Z._, que les opérations nécessaires à la planification, à la conduite et à la surveillance d'un chantier, normalement attendues d'un entrepreneur général, n'ont pas été accomplies.
Le 5 février 2008, les propriétaires ont ouvert action contre Z._ devant le Tribunal civil de l'arrondissement de la Côte. Après amplification de la demande, le défendeur devait être condamné à payer 99'999 fr. à titre de dommages-intérêts, avec intérêts au taux de 5% par an, dès cette date-ci sur 69'098 fr.65 et dès le 19 mars 2009 sur le solde.
Le défendeur a conclu au rejet de l'action.
Le tribunal a confié une nouvelle mission d'expertise à l'architecte Christophe Mercier; il a en outre entendu divers témoins. Ce deuxième expert a lui aussi trouvé de nombreux et importants défauts dans l'ouvrage exécuté par le défendeur.
Le tribunal s'est prononcé le 30 novembre 2009. Il a constaté l'exécution défectueuse de l'ouvrage et jugé que les demandeurs ont droit à des dommages-intérêts correspondant, surtout, aux frais d'élimination des défauts; accueillant l'action, il a condamné le défendeur à payer aux demandeurs, créanciers solidaires, 69'098 fr.65 avec intérêts dès le 7 mars 2008 et 30'900 fr.35 avec intérêts dès le 20 mars 2009.
C. Saisie par le défendeur, la Chambre des recours du Tribunal cantonal lui a donné gain de cause le 13 avril 2011; elle a réformé le jugement en ce sens que l'action est entièrement rejetée.
D. Agissant par la voie du recours en matière civile, les demandeurs requièrent le Tribunal fédéral de confirmer le jugement du Tribunal civil, ou, subsidiairement, d'annuler l'arrêt de la Chambre des recours et de renvoyer la cause à cette autorité pour nouvelle décision.
Les demandeurs étant condamnés aux dépens des deux instances cantonales, ils ont introduit une demande d'effet suspensif afin de n'avoir pas à payer ces montants en l'état.
Invité à répondre, le défendeur conclut au rejet de la demande d'effet suspensif et au rejet du recours, dans la mesure où celui-ci est recevable.

Considérant en droit:
1. Le recours est dirigé contre un jugement final (<ref-law>), rendu en matière civile (<ref-law>) et en dernière instance cantonale (<ref-law>). Ses auteurs ont pris part à l'instance précédente et succombé dans leurs conclusions (<ref-law>). La valeur litigieuse excède le minimum légal de 30'000 fr. (art. 51 al. 1 let. a et 74 al. 1 let. b LTF); le mémoire de recours a été introduit en temps utile (<ref-law>) et il satisfait aux exigences légales (art. 42 al. 1 à 3 LTF).
Le recours est ouvert pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique ce droit d'office, hormis les droits fondamentaux (<ref-law>). Il n'est pas lié par l'argumentation des parties et il apprécie librement la portée juridique des faits; il s'en tient cependant, d'ordinaire, aux questions juridiques que la partie recourante soulève dans la motivation du recours (<ref-law>; <ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.4.1 p. 254), et il ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 2.2 p. 246; <ref-ruling> consid. 1.4.2).
Le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits constatés dans la décision attaquée (<ref-law>); les allégations de fait et les moyens de preuve nouveaux sont en principe irrecevables (<ref-law>). Le tribunal peut compléter ou rectifier même d'office les constatations de fait qui se révèlent manifestement inexactes, c'est-à-dire arbitraires aux termes de l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 1.1.2 p. 252), ou établies en violation du droit (<ref-law>). La partie recourante est autorisée à attaquer des constatations de fait ainsi irrégulières si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
2. Il est constant que les parties se sont liées par un contrat d'entreprise aux termes de l'<ref-law>, que les demandeurs et maîtres de l'ouvrage ont abruptement résilié ce contrat avant la fin des travaux, et que l'ouvrage alors partiellement exécuté présentait de nombreux et importants défauts. La contestation porte sur le droit des demandeurs d'obtenir des dommages-intérêts par suite de cette exécution défectueuse.
3. Le Tribunal civil a alloué ces dommages-intérêts sur la base de l'<ref-law>. Cette disposition prévoit que s'il est possible de prévoir avec certitude, pendant le cours des travaux, que, par la faute de l'entrepreneur, l'ouvrage sera exécuté d'une façon défectueuse ou contraire à la convention, le maître peut alors fixer ou faire fixer à l'entrepreneur un délai convenable pour parer à ces éventualités, en l'avisant que, s'il ne s'exécute pas dans le délai fixé, les réparations ou la continuation des travaux seront confiées à un tiers, aux frais et risques de l'entrepreneur.
A l'expiration du délai, le maître doit signifier à l'entrepreneur que la réparation de l'ouvrage et la continuation des travaux lui sont retirées et seront confiées à un tiers; le contrat subsiste et l'obligation initiale de l'entrepreneur, qui avait pour objet la confection de l'ouvrage, est désormais transformée en une obligation de rembourser les frais de l'exécution par substitution (<ref-ruling> consid. 7a/aa p. 233).
La jurisprudence reconnaît aussi au maître de l'ouvrage, dans la situation visée par l'<ref-law>, le droit de fixer ou de faire fixer un délai selon l'<ref-law>, dans lequel l'entrepreneur devra remédier aux défauts, puis, s'il n'obtient pas satisfaction, de résilier le contrat sur la base de l'<ref-law> et de réclamer des dommages-intérêts pour cause d'inexécution (<ref-ruling> consid. 7a/bb p. 235/236). Au besoin, élucider si le maître a opté pour l'exécution par substitution ou pour la résiliation du contrat nécessite d'interpréter la manifestation de volonté qu'il a adressée à l'entrepreneur (même arrêt, consid. 7a/cc p. 237).
Le 8 février 2006, par l'entremise de leur avocat, les demandeurs ont sans aucune équivoque résilié le contrat qui les liait au défendeur. En conséquence, il est exclu que des dommages-intérêts leur soient alloués en application de l'<ref-law> car cette disposition suppose, au contraire, le maintien du contrat. Les dommages-intérêts ne leur sont dus, le cas échéant, que conformément aux art. 97 al. 1 et 107 al. 2 CO. De ce point de vue, dans le jugement du Tribunal civil, l'obligation de la partie condamnée a reçu un fondement juridique erroné.
4. L'<ref-law> prévoit que la fixation d'un délai n'est pas nécessaire s'il ressort de l'attitude du débiteur que cette mesure serait sans effet. Cette règle s'applique non seulement au délai envisagé à l'<ref-law> mais aussi, par analogie, à celui prévu par l'<ref-law>; en conséquence, quelle que soit l'option choisie par le maître, celui-ci peut se dispenser de la sommation et du délai lorsque l'entrepreneur s'est révélé incapable de réaliser un ouvrage conforme à ses obligations contractuelles (Peter Gauch, Der Werkvertrag, 5e éd., 2011, n° 892a p. 365; François Chaix, in Commentaire romand, 2003, n° 34 ad <ref-law>, avec références à d'autres auteurs).
Selon le Tribunal civil, le défendeur est apparu incapable d'éliminer les défauts, ceci en raison de son « indigence professionnelle », de son « amateurisme » et de son « manque de supervision et d'implication dans la réalisation des travaux »; le jugement fait ici directement référence aux constatations de l'expert Filipozzi. Les demandeurs étaient donc, selon les premiers juges, dispensés de la sommation et du délai, et leur résiliation abrupte du contrat est valable. La Chambre des recours, elle, a infirmé cette appréciation pour retenir que les demandeurs auraient dû, au contraire, envoyer une sommation avec fixation d'un délai, et que la résiliation n'est pas valable faute d'avoir été précédée de cette démarche. La Chambre constate que les demandeurs ont versé un important acompte en octobre 2005, soit peu de mois avant de résilier, et que dans leur lettre du 11 janvier 2006, ils ne mentionnaient aucun défaut grave et se disaient prêts à rencontrer leur cocontractant. Elle leur impute ainsi, comprend-on, une attitude contradictoire. La Chambre juge aussi, sans s'expliquer davantage sur ce point, qu'un constat des défauts effectué après la résiliation est dépourvu de pertinence.
5. Il importe de rappeler que la sommation avec fixation d'un délai d'exécution, selon les art. 107 al. 1 ou 366 al. 2 CO, correspond au régime légal et ordinaire de l'exécution des obligations. Même si l'entrepreneur exécute l'ouvrage de manière incorrecte, il ne doit normalement pas s'attendre à une rupture du contrat, ni à une exécution par substitution, aussi longtemps qu'il n'a pas reçu de sommation. La résiliation abrupte, sans sommation, est certes prévue par les art. 107 al. 2 et 108 CO, notamment dans le cas envisagé à l'<ref-law>, mais il s'agit d'un procédé dérogatoire qui ne saurait être admis à la légère, sauf à dénaturer le régime ordinaire.
Ce qui est d'abord décisif, du point de vue de cette dernière disposition, c'est savoir si lors de la résiliation du contrat, le défendeur était de façon certaine, objectivement et réellement, incapable d'éliminer les défauts de l'ouvrage dans un délai convenable. En vertu de l'<ref-law>, il incombait aux demandeurs d'alléguer et de prouver les faits propres à permettre aux juges de constater une pareille incapacité.
Les demandeurs ont produit une longue liste de défauts, accompagnée de photographies, datée du 9 février 2006. L'auteur de ce document n'y est certes pas indiqué et il n'est pas signé; toutefois, selon la décision attaquée, l'expert Filipozzi paraît s'y être référé. Cet expert a constaté de graves manquements dans la préparation et la conduite du chantier. Les deux rapports d'expertise énumèrent de très nombreux et importants défauts. Les malfaçons accumulées et les erreurs de gestion doivent être prises en considération pour apprécier si l'entrepreneur, au moment où le maître envisage de résilier le contrat, semble apte à exécuter les travaux de remise en état dans un délai convenable. Or, la Chambre des recours n'examine ni la liste ni les rapports d'expertise pour en tirer d'éventuelles conclusions sur la capacité du défendeur à réparer l'ouvrage. Elle écarte la liste au seul motif qu'elle provient des demandeurs et qu'elle est postérieure à la résiliation du contrat. On ne voit cependant pas que ce document soit d'emblée et absolument dépourvu de toute force probante et, pour apprécier l'aptitude du défendeur, il importe peu que les demandeurs aient établi cette liste seulement après la résiliation. En écartant ainsi, sans autre examen, des éléments d'appréciation pertinents et importants au regard de l'<ref-law>, l'autorité précédente a violé cette disposition.
6. Au regard de la motivation alternative adoptée par cette autorité, il est nécessaire d'examiner si la résiliation abrupte du contrat, supposée conforme à l'<ref-law>, peut être jugée abusive en raison de l'attitude des demandeurs avant cette déclaration.
Il est constant que ceux-ci ont versé 140'000 fr. au défendeur, en deux tranches de 70'000 francs. Selon le jugement de première instance et selon la décision présentement attaquée, les demandeurs ont ainsi donné suite à deux demandes d'acomptes du 2 août et du 26 octobre 2005. Or, d'après les documents bancaires annexés au rapport de l'expert Mercier, les acomptes ont été versés le 1er juillet et le 17 août 2005 déjà. Les demandeurs sont donc fondés à se plaindre, sur la base de ces documents, d'une constatation manifestement inexacte des faits en tant que la Chambre des recours fait état d'un acompte versé en octobre 2005. En réalité, les versements sont intervenus longtemps avant la résiliation du contrat. Pour le surplus, il est vrai que les demandeurs ne se sont pas sérieusement plaints des défauts avant cette résiliation et qu'en janvier 2006 encore, ils se disaient prêts à rencontrer leur cocontractant; néanmoins, en dépit de ces circonstances, il n'apparaît pas que la résiliation abrupte procède d'une attitude grossièrement contradictoire, contraire à l'<ref-law> qui prohibe l'abus manifeste d'un droit.
7. Des consid. 4 et 5 ci-dessus, il résulte que la cause doit être renvoyée à la Chambre des recours pour que cette autorité procède à une nouvelle appréciation au regard de l'<ref-law>. Le recours sera donc partiellement admis, selon les conclusions subsidiaires de ses auteurs.
L'arrêt attaqué étant annulé, il n'est pas nécessaire de statuer sur la demande d'effet suspensif.
A titre de partie qui succombe, le défendeur doit acquitter l'émolument à percevoir par le Tribunal fédéral et les dépens auxquels ses adverses parties peuvent prétendre.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt de la Chambre des recours est annulé et la cause est renvoyée à cette autorité pour nouvelle décision.
2. Le défendeur acquittera un émolument judiciaire de 5'000 francs.
3. Le défendeur versera une indemnité de 6'000 fr. aux demandeurs, créanciers solidaires, à titre de dépens.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud.
Lausanne, le 21 décembre 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La présidente: Klett
Le greffier: Thélin