Faits:
A. A.a Sur la parcelle no ... de la commune de Montreux, à ..., est érigé un immeuble construit au début du vingtième siècle, qui a fait l'objet d'importants travaux de rénovation au printemps 2007.
Le 12 mars 2007, A._, en qualité de maître de l'ouvrage représenté par B._, C._ SA, entreprise générale, et D._, en qualité d'entrepreneur, ont signé un contrat d'entreprise. Les parties sont convenues d'un prix forfaitaire de 85'000 fr., toutes taxes comprises, pour l'exécution d'un certain nombre de travaux à échelonner "du 12/03 au 30/06.2007". Les travaux à effectuer étaient énumérés de la manière suivante: "Echange chauffage/installation au gaz, démontage citerne, radiateurs, circuits, conduites d'écoulement, raccordement ch + s (yc appt s/s) essais + mise en service".
La signature du contrat a été précédée d'une offre, qui fait partie intégrante du contrat. Il en va de même du descriptif et des prix indiqués, des plans et autres documents techniques y relatifs, de la norme SIA 118, des conditions particulières convenues et du cahier des charges général. Ce dernier document réglait en son article 3, les travaux en régie et les imprévus, en son article 7, les retards et en son article 11, la résiliation du marché. Il a été notamment prévu que "si la progression des travaux d'un entrepreneur est insuffisante, l'architecte, après un avertissement resté sans effet pendant cinq jours, pourvoira de plein droit à l'exécution des ouvrages en souffrance, les dépenses qui en résulteront seront à la charge de l'entrepreneur qui aura motivé l'emploi de cette mesure" (art. 7 let. c du cahier des charges). En cas de résiliation du "marché", le maître de l'ouvrage se réservait par ailleurs le droit à des dommages et intérêts pour le préjudice causé et l'entrepreneur déchu s'engageait à supporter les majorations que pourrait demander son successeur sur les prix des travaux nouvellement adjugés (art. 11 let. c du cahier des charges). Le maître de l'ouvrage se réservait également le droit de compenser le préjudice subi en cas de malfaçons ou fraudes constatées, d'abandon des travaux, de retards dans les délais impartis ou d'ouvrages inachevés et de faillite de l'entrepreneur (art. 11 let. d du cahier des charges). Un second devis a été établi, dans lequel le poste "P.V. pompe appartement, raccordements cuisines, restaurant, raccordement sanitaire entre-sol" remplaçait le poste "échange de la chaudière et du bouilleur", qui était supprimé.
Les travaux ont débuté en mars 2007, sans qu'aucun architecte ne soit mandaté. En cours de chantier, les travaux ont pris du retard. En septembre 2007, une inondation s'est produite dans le bureau situé au rez-de-chaussée de l'immeuble et les travaux de réparation ont été confiés à l'entreprise E._, dirigée par F._. Ce dernier s'est vu attribuer, à cette époque, le suivi des travaux.
Le 13 octobre 2007, le contrat a été résilié avec effet immédiat. Etaient invoqués, comme motifs de la rupture du contrat, les absences de l'entrepreneur sur le chantier, le non-respect des instructions et les malfaçons imputables à l'entrepreneur. Au moment de la résiliation, le maître s'était acquitté d'un montant de 63'000 fr. à titre d'acomptes.
Les travaux inachevés ont été confiés à l'entreprise H._, qui a réclamé le montant de 24'048 fr.80, dont 15'000 fr. de main-d'oeuvre, pour le travail accompli. La date précise de la fin des travaux n'a pas été établie.
En janvier et août 2008, les entreprises sanitaires G._ SA ont dû intervenir pour effectuer des réparations dans les locaux abritant le restaurant de l'immeuble.
A.b L'immeuble, propriété de A._ au début des travaux, a été vendu à B._. Au moment de la vente définitive, celui-ci a repris toutes les obligations contractées par le précédent propriétaire.
L'immeuble comprend désormais un café-restaurant, trois appartements et deux studios.
B. B.a Le 28 décembre 2007, D._ a ouvert action contre B._ et A._, en concluant, avec dépens, au paiement par ces derniers de la somme de 42'000 fr., avec intérêts, et à l'inscription définitive d'une hypothèque légale. En cours de procédure, le demandeur n'a dirigé ses conclusions qu'à l'encontre du premier des deux défendeurs, le second ayant été entièrement mis hors de cause. B._ a présenté des conclusions reconventionnelles tendant au paiement de dommages et intérêts, à préciser après le dépôt d'un rapport d'expertise.
Par ordonnance de mesures provisionnelles du 20 février 2008, le Président du Tribunal civil de l'arrondissement de l'Est vaudois a ordonné l'inscription provisoire d'une hypothèque légale des artisans et entrepreneurs à concurrence de 22'000 fr., avec intérêts à 5% l'an dès le 13 octobre 2007.
Dans le cadre de l'instruction de la cause, une expertise judiciaire a été confiée à l'architecte I._. Un complément d'expertise, de même qu'une seconde expertise, requis par le défendeur, ont été refusés.
Après le dépôt du rapport d'expertise, le défendeur a complété ses conclusions reconventionnelles, en concluant au paiement du montant de 15'841 fr.80, avec intérêts à 5% l'an dès le 13 octobre 2007, à titre de dommages et intérêts.
Par jugement du 17 novembre 2009, les premiers juges ont condamné le défendeur au paiement de la somme de 22'000 fr., avec intérêts à 5% l'an dès le 29 décembre 2007, et ordonné l'inscription définitive au registre foncier du district de Vevey d'une hypothèque légale des artisans et entrepreneurs à concurrence dudit montant. Les frais de justice et les dépens ont été mis à la charge du défendeur.
La somme de 22'000 fr. a été calculée, en ajoutant au prix forfaitaire convenu de 85'000 fr. la plus-value admise par le maître pour le déplacement d'une baignoire à concurrence de 5'000 fr., puis en déduisant le montant correspondant aux travaux inachevés, arrêtés à 5'000 fr., de même que les acomptes versés, par 63'000 francs.
B.b Saisie par B._, la Chambre des recours du Tribunal cantonal vaudois a, par arrêt du 1er décembre 2010, rejeté le recours et confirmé le jugement entrepris. Les considérants de l'arrêt cantonal précité seront repris ci-après dans la mesure utile.
C. B._ exerce un recours en matière civile, subsidiairement un recours constitutionnel contre l'arrêt du 1er décembre 2010. Il conclut à l'admission du recours et à la réforme du jugement entrepris, en ce sens que la demande principale est rejetée et la demande reconventionnelle admise, l'entrepreneur étant condamné à verser au maître le montant de 15'841 fr.80 avec intérêts à 5% dès le 13 octobre 2007. Subsidiairement, le recourant requiert l'annulation de l'arrêt et le renvoi de la cause à l'instance cantonale pour qu'elle statue à nouveau dans le sens des considérants après avoir ordonné une deuxième expertise dont le but est de répondre aux questions initiales et aux questions complémentaires du défendeur à l'action. Plus subsidiairement encore, il demande la réforme du jugement, en ce sens que les deux demandes sont rejetées. Dans tous les cas, sauf en cas de renvoi de l'affaire à l'instance cantonale, il demande que l'hypothèque légale soit définitivement radiée. Il sollicite aussi que les dépens de première instance soient mis à la charge de la partie adverse, subsidiairement compensés, et que les dépens de deuxième instance soient mis à la charge de la partie adverse. Très subsidiairement, il conclut à l'admission du recours constitutionnel, à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants.
L'intimé conclut au rejet du recours.
Considérant en droit:
1. 1.1 S'agissant d'une affaire pécuniaire qui ne porte ni sur le droit du travail ni sur le droit du bail à loyer, le recours en matière civile n'est recevable que si la valeur litigieuse - déterminée selon le capital réclamé dans les dernières conclusions prises devant l'autorité précédente (art. 51 al. 1 let. a et al. 3 LTF) - s'élève au moins à 30'000 fr. (art. 74 al. 1 let. b LTF).
Devant l'autorité précédente, le recourant a conclu à libération en ce sens qu'il demandait l'annulation, voire, à titre subsidiaire, la réforme du jugement précédent, qui le condamnait à verser à l'intimé la somme de 22'000 fr. avec intérêts, à titre de solde dû par le maître à l'entrepreneur pour les travaux effectués, et ordonnait l'inscription définitive d'une hypothèque légale des artisans et entrepreneurs à due concurrence. Il a également conclu à l'admission de la conclusion reconventionnelle qui visait à obtenir de l'intimé le paiement d'un montant de 15'841 fr.80, avec intérêts, à titre d'indemnisation pour les défauts de l'ouvrage.
Aux termes de l'art. 53 LTF, le montant d'une demande reconventionnelle et celui de la demande principale ne sont pas additionnés (al. 1). Si les conclusions de la demande principale et de la demande reconventionnelle s'excluent et si l'une de ces demandes n'atteint pas à elle seule la valeur litigieuse minimale, cette demande est quand même réputée atteindre la valeur litigieuse minimale si le recours porte sur les deux demandes (al. 2).
Contrairement à ce que soutient le recourant, cette disposition ne prévoit pas l'addition des deux demandes, principale et reconventionnelle, mais consacre la recevabilité du recours par attraction à l'égard de la demande qui n'atteint pas la valeur litigieuse minimale prescrite à l'art. 74 al. 1 let. b LTF pour les affaires pécuniaires. L'art. 53 al. 2 LTF exige cependant que l'une au moins des demandes atteigne la valeur litigieuse minimale requise (arrêt 4A_364/2008 du 12 décembre 2008 consid. 1.3 et les références). En l'occurrence, au regard des conclusions encore litigieuses devant l'autorité cantonale précédant le Tribunal fédéral, aucune des deux demandes, principale et reconventionnelle, n'atteint à elle seule le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), étant rappelé qu'il est de jurisprudence qu'en matière de droit de gage immobilier, tel l'hypothèque légale des artisans et entrepreneurs des art. 837 ss CC, la valeur du gage n'est pas additionnée à la créance qu'il garantit, pour autant que le montant de la créance soit inférieur à la valeur de l'objet mis en gage (ATF 106 II 22 consid. 1 p. 24 et l'arrêt cité; arrêt 4C.95/2003 du 25 août 2003 consid. 2), ce qui est indubitablement le cas en l'espèce. Il s'ensuit que le recours en matière civile n'est recevable pour aucune de ces deux demandes. L'estimation manifestement erronée de la valeur litigieuse faite par l'autorité cantonale, qui l'a considérée comme supérieure à 30'000 fr., est par ailleurs sans incidence, puisque le Tribunal fédéral n'est pas lié par une telle estimation (ATF 136 III 60 consid. 1.1.1 p. 62).
Le présent recours ne posant en rien une question juridique de principe au sens de l'art. 74 al. 2 let. a LTF, le recours en matière civile doit être déclaré irrecevable, à défaut d'atteindre la valeur litigieuse exigée par l'art. 74 al. 1 let. b LTF.
Cela étant, il convient d'examiner le recours constitutionnel, motivé à titre subsidiaire par le recourant dans la même écriture (cf. ch. 18 et 19 du recours).
1.2 Le recours subsidiaire ne peut être interjeté que pour violation des droits constitutionnels (art. 116 LTF). Lorsque de tels griefs sont soulevés, l'art. 106 al. 2 LTF (par renvoi de l'art. 117 LTF) prévoit pour la motivation du recours des exigences qualifiées (ATF 134 II 349 consid. 3 p. 352; 134 I 83 consid. 3.2 p. 88 et les arrêts cités). Le recourant doit ainsi indiquer quel droit constitutionnel aurait été violé et démontrer, par une argumentation circonstanciée, en quoi consiste cette violation (ATF 136 I 332 consid. 2.1 p. 334; 134 V 138 consid. 2.1 p. 143; 133 III 439 consid. 3.2 p. 444). Ainsi, s'il entend se prévaloir d'une application arbitraire (art. 9 Cst.) du droit fédéral, il doit désigner avec précision quelle est la norme fédérale dont il se prévaut.
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 118 al. 1 LTF). Il ne peut s'en écarter que s'ils ont été établis en violation d'un droit constitutionnel (art. 118 al. 2 et 116 LTF), ce que la partie recourante doit invoquer avec précision (art. 117 et 106 al. 2 LTF). Aucun fait nouveau ou preuve nouvelle ne peut être présenté à moins de résulter de la décision attaquée (art. 117 et 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 117 et 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 117 et 99 al. 2 LTF).
Si le Tribunal fédéral admet le recours, il peut en principe statuer lui-même sur le fond (art. 117 et 107 al. 2 LTF). La partie recourante ne peut dès lors se borner à demander l'annulation de la décision attaquée, mais elle doit également prendre des conclusions sur le fond du litige; il n'est fait exception à cette règle que lorsque le Tribunal fédéral, en cas d'admission du recours, ne serait de toute manière pas en situation de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (ATF 134 III 379 consid. 1.3 p. 383 et l'arrêt cité).
S'agissant du recours constitutionnel, le recourant ne prend aucune conclusion sur le fond, se contentant de conclure à l'annulation de la décision et au renvoi de la cause devant l'autorité cantonale. Cette conclusion cassatoire ne saurait en l'état être sanctionnée, dès lors que l'admission du grief portant sur le refus d'ordonner une seconde expertise impliquerait nécessairement le renvoi de la cause devant l'autorité cantonale. Il ressort par ailleurs des conclusions formulées à l'appui du recours en matière civile que le recourant entend être libéré de toute condamnation pécuniaire à l'égard de l'intimé et qu'il revendique le paiement d'un certain montant, en capital et intérêts, tout en requérant la radiation de l'inscription de l'hypothèque légale des artisans et entrepreneurs. La conclusion cassatoire prise à l'appui du recours constitutionnel subsidiaire ne fait donc pas obstacle à l'entrée en matière sur le recours.
2. En lien avec le refus d'ordonner une seconde expertise, le recourant dénonce une application arbitraire du principe de la charge de la preuve (art. 8 CC). Il invoque également la violation du droit constitutionnel à un procès équitable et la violation du droit d'être entendu.
En l'absence d'une disposition spéciale instituant une présomption, l'art. 8 CC répartit le fardeau de la preuve pour toutes les prétentions fondées sur le droit fédéral et détermine, sur cette base, laquelle des parties doit assumer les conséquences de l'échec de la preuve (ATF 129 III 18 consid. 2.6 p. 24; 127 III 519 consid. 2a p. 522).
L'art. 8 CC confère à celui qui supporte le fardeau de la preuve le droit d'offrir des moyens de preuve et d'obtenir qu'ils soient administrés, s'ils ont été présentés à temps et selon les formes prévues par la procédure cantonale (ATF 129 III 18 consid. 2.6 p. 24 s.). L'art. 8 CC ne permet toutefois pas de remettre en question l'appréciation des preuves du juge cantonal, ni n'exclut l'appréciation anticipée des preuves ou une administration limitée des preuves lorsque celle-ci emporte la conviction du juge quant à l'exactitude d'une allégation (ATF 129 III 18 consid. 2.6 p. 25; 127 III 519 consid. 2a p. 522; 126 III 315 consid. 4a p. 317). Il ne permet pas non plus de critiquer l'appréciation du juge quant à l'aptitude d'un moyen de preuve à établir un fait pertinent (ATF 122 III 219 consid. 3c p. 223 in fine).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait rentrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.; 136 III 552 consid. 4.2 p. 560).
Le Tribunal cantonal a confirmé le rejet, par les premiers juges, de la requête de seconde expertise du recourant, motif pris qu'un deuxième expert serait confronté aux mêmes problèmes que le premier s'agissant des constatations à effectuer sur place et de l'appréciation de la situation en fonction des entreprises ayant oeuvré successivement sur le chantier. L'autorité cantonale a indiqué que l'administration du moyen de preuve requis ne pourrait rien apporter de plus à la résolution du litige. Elle a en outre ajouté que l'expertise judiciaire n'apparaît ni peu claire, ni insuffisante.
Il s'agit là d'une question d'appréciation des preuves et non pas de répartition du fardeau de la preuve. On ne se trouve pas en présence d'un cas d'échec de la preuve et la règle sur le fardeau de la preuve ne peut plus jouer aucun rôle (ATF 132 III 626 consid. 3.4 p. 634; 131 III 646 consid. 2.1 p. 649).
C'est donc en vain que le recourant fait état d'une application arbitraire de l'art. 8 CC.
En droit de procédure cantonal vaudois - applicable au présent litige -, l'administration d'une seconde expertise était régie par l'art. 239 aCPC/VD. Le recourant ne dénonce aucune violation insoutenable de cette disposition, qu'il ne cite même pas à l'appui de son argumentation. Aucune démonstration d'une application arbitraire de cette disposition par les juges cantonaux, qui disposent en la matière d'un large pouvoir d'appréciation (POUDRET/HALDY/TAPPY, Procédure civile vaudoise, 3e éd. 2002, no 1 ad art. 239 CPC), n'est entreprise par le recourant. Cela étant, il n'y a pas lieu d'y revenir (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF).
L'autorité cantonale a clairement indiqué pour quelle raison il ne se justifiait pas d'ordonner une seconde expertise et a par là rempli son devoir de motiver sa décision, déduit du droit d'être entendu consacré à l'art. 29 al. 2 Cst. On ne décèle dès lors aucune violation de ce droit, contrairement à ce que soutient le recourant.
Quant au grief de violation du droit à un procès équitable, il ne fait l'objet d'aucune motivation de la part du recourant (cf. ch. 1 et 18 du recours), ce qui ne peut que conduire à son irrecevabilité (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF).
Le grief est rejeté dans la mesure de sa recevabilité.
3. 3.1 Les juges cantonaux ont considéré que la résiliation du contrat telle qu'elle résultait de la manifestation de volonté du recourant relevait de l'art. 377 CO, qui dispose que tant que l'ouvrage n'est pas terminé, le maître peut toujours se départir du contrat, en payant le travail fait et en indemnisant complètement l'entrepreneur. Les magistrats cantonaux ont arrêté que les travaux restant à accomplir au départ de l'intimé représentaient un montant de 5'000 francs. Ils ont retranché ce montant de la somme contractuellement convenue (85'000 fr.), augmentée d'une plus-value, non contestée, de 5'000 francs. Après déduction des acomptes versés, à raison de 63'000 fr., ils ont obtenu le montant de 22'000 fr. et confirmé la condamnation du recourant à devoir s'acquitter de la somme en question, comme jugé en première instance.
Il n'est pas contesté que les parties étaient contractuellement convenues du paiement d'un prix forfaitaire de 85'000 fr. pour l'ensemble des travaux à effectuer et que ces derniers n'ont pas été exécutés dans leur totalité.
3.2 Le recourant soutient que le Tribunal cantonal vaudois a arbitrairement jugé qu'il incombait au maître (lui-même) d'établir l'état du chantier au départ de l'entrepreneur (l'intimé) alors que la preuve incombe à qui veut faire valoir un droit et reproche, en conséquence, à l'instance cantonale d'avoir arbitrairement admis la demande principale quand bien même le demandeur n'a pas prouvé les faits allégués. Il se plaint d'une application arbitraire de l'art. 8 CC, d'une violation du droit à un procès équitable et du droit d'être entendu.
Il résulte de l'art. 8 CC que la partie demanderesse doit prouver les faits qui fondent sa prétention, tandis que sa partie adverse doit prouver les faits qui entraînent l'extinction ou la perte du droit (ATF 130 III 321 consid. 3.1 p. 323). Il appartient ainsi à l'entrepreneur (demandeur) d'établir la valeur des travaux effectués. En revanche, le fardeau de la preuve incombe au maître qui, à son obligation de payer le prix, oppose la réparation du dommage résultant de prétendus défauts.
Le premier juge - entièrement confirmé en instance de recours - a expressément relevé qu'aucun constat n'a été établi au départ de l'entrepreneur. Il en a déduit qu'il n'était pas en mesure de déterminer quels étaient, à ce moment-là, les travaux déjà exécutés et ceux qui restaient à accomplir conformément au contrat. Le magistrat a également relevé qu'il appartenait au maître (défendeur) d'établir un constat des travaux qu'il jugeait inachevés et/ou défectueux, et dont il se prévalait devant l'autorité saisie. L'existence d'une telle preuve a été niée. Cela étant, les autorités cantonales ont fondé leur appréciation sur les dires de l'entrepreneur, qui, en cours de procédure, a admis que les travaux restant à accomplir au départ du chantier représentaient un montant de 5'000 francs. Sur cette base, les magistrats ont chiffré le montant des travaux accomplis à 80'000 fr., en déduisant les 5'000 fr. susmentionnés du forfait convenu (85'000 fr.). Cette appréciation relève de l'établissement des faits - un fait admis étant considéré comme établi (FABIENNE HOHL, Procédure civile, T. 1, 2001, n. 950, p. 183) - et non pas de l'art. 8 CC. Il n'y a dès lors plus de place pour la violation dénoncée de la répartition du fardeau de la preuve.
Le moyen pris d'une violation arbitraire de l'art. 8 CC est infondé.
3.3 Le grief de violation du droit à un procès équitable et du droit d'être entendu ne font l'objet d'aucune motivation. Il ne se justifie donc pas d'entrer en matière sur ces questions (art. 106 al. 2 LTF par renvoi de l'art. 117 LTF).
4. En conclusion, le recours constitutionnel subsidiaire doit être rejeté dans la mesure de sa recevabilité.
Compte tenu de l'issue du litige, le recourant, qui succombe, doit acquitter l'émolument judiciaire et les dépens à allouer à l'intimé (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière civile est irrecevable.
2. Le recours constitutionnel subsidiaire est rejeté, dans la mesure de sa recevabilité.
3. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
4. Le recourant versera à l'intimé une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 16 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin