Faits:
A. Par contrat du 25 août 2004, X._, propriétaire d'une parcelle à ... (Vaud), a chargé l'entreprise générale Y._ SA de construire sur ce terrain une villa familiale avec un couvert pour deux voitures pour le prix forfaitaire de 1'085'000 fr. Simultanément, les parties ont conclu une convention annexe qui ajoute une somme supplémentaire de 100'000 fr. au prix forfaitaire précité.
La direction des travaux était assurée par l'entrepreneur général, tandis que le maître de l'ouvrage était assisté de l'architecte A._, qui avait établi les plans du projet initial.
Au cours des travaux, différentes modifications ont été apportées par rapport au descriptif général de construction annexé au contrat, entraînant tantôt des plus-values, tantôt des moins-values.
L'ouvrage a été livré avec du retard le 14 octobre 2005, alors qu'il restait différents travaux à effectuer.
Les parties sont en litige sur la détermination du solde dû entre elles, compte tenu des plus-values, des moins-values et des indemnités de retard.
B. Par demande du 8 mai 2006, X._ a ouvert action devant la juridiction vaudoise contre Y._ SA, concluant à ce que cette dernière soit condamnée à lui verser la somme de 175'373 fr.95 avec intérêts à 5 % dès le 22 novembre 2005.
Y._ SA s'est opposée à la demande et a conclu reconventionnellement à ce que sa partie adverse soit condamnée à lui verser la somme de 114'975 fr.70 avec intérêts à 5 % dès le 25 novembre 2005; elle a requis également l'inscription d'une hypothèque légale des artisans et entrepreneurs.
Une expertise a été ordonnée et confiée à B._, architecte diplômé EPFL-SIA.
Par jugement du 8 septembre 2010, la Cour civile du Tribunal cantonal vaudois, statuant en instance cantonale unique, a condamné la défenderesse à payer au demandeur la somme de 4'499 fr.65 avec intérêts à 5 % l'an dès le 27 juillet 2006, tranchant par ailleurs sur les frais et dépens.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre ce jugement. Invoquant la violation de diverses dispositions de droit fédéral (art. 8 CC, art. 363, 373, 374 et 375 CO), ainsi que l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves et l'établissement des faits, il conclut à ce que sa partie adverse soit condamnée à lui verser non pas 4'499 fr.65, mais 52'678 fr.85 plus intérêts à 5% l'an dès le 27 juillet 2006.
L'intimée propose le rejet du recours.
Considérant en droit:
1. 1.1 La cour cantonale a statué en instance unique, c'est-à-dire à la fois en première et en dernière instance cantonale.
Le code de procédure civile suisse du 19 décembre 2008 (CPC; RS 272) est entré en vigueur le 1er janvier 2011. Selon l'art. 405 al. 1 CPC, les recours contre une décision cantonale sont régis par le droit en vigueur au moment de la communication de la décision aux parties. Par "communication de la décision aux parties", il faut entendre le moment de l'envoi de l'acte par le tribunal (ATF 137 III 130 consid. 2). Lorsque - comme c'est le cas en l'espèce - l'autorité cantonale envoie tout d'abord un dispositif et ensuite seulement sa décision motivée, la date de l'envoi du dispositif est déterminante (ATF 137 III 127 consid. 2).
En l'espèce, le dispositif du jugement attaqué a été envoyé aux parties le 17 septembre 2010, soit avant l'entrée en vigueur du CPC. La question de la voie de recours est donc régie par l'ancien droit. L'art. 75 al. 2 LTF qui exige des cantons qu'ils instituent des tribunaux statuant sur recours n'était alors pas applicable, puisque les cantons disposaient encore d'un délai d'adaptation (art. 130 al. 2 LTF). La cour cantonale a donc valablement statué en instance cantonale unique, de sorte de le recours au Tribunal fédéral est en principe ouvert.
1.2 Selon l'art. 75 al. 1 LTF, le recours en matière civile n'est recevable que contre une décision prise en dernière instance cantonale. Un recourant ne peut donc pas soulever devant le Tribunal fédéral un grief qui aurait encore pu faire l'objet d'un recours cantonal.
En procédure civile vaudoise, le jugement rendu par la Cour civile du Tribunal cantonal peut faire l'objet d'un recours en nullité auprès de la Chambre des recours du Tribunal cantonal - comme cela a d'ailleurs été indiqué au bas du jugement querellé -, en particulier pour violation des règles essentielles de la procédure (art. 444 al. 1 ch. 3 du code de procédure civile du canton de Vaud du 14 décembre 1966; CPC/VD). A teneur de l'art. 444 al. 2 CPC/VD, le recours est toutefois irrecevable pour les griefs qui peuvent faire l'objet d'un recours en réforme au Tribunal fédéral. La jurisprudence cantonale en a déduit que, dès lors que le grief d'arbitraire dans l'appréciation des preuves ne pouvait pas être soulevé dans un recours en réforme (art. 43 OJ), il pouvait l'être dans le recours en nullité cantonal (JdT 2007 III 48).
La loi fédérale sur le Tribunal fédéral, entrée en vigueur le 1er janvier 2007, a remplacé le recours en réforme par le recours en matière civile (cf. art. 72 ss LTF). Dans ce nouveau recours, le grief constitutionnel d'arbitraire est recevable (art. 95 LTF; ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313). Jusqu'à l'entrée en vigueur du CPC, l'art. 444 al. 2 CPC/VD n'avait cependant pas été modifié et continuait de prévoir l'exclusion des griefs susceptibles de l'ancien recours en réforme. Il en découle que le grief d'arbitraire dans l'appréciation des preuves - qui ne pouvait faire l'objet d'un recours en réforme - continue d'être recevable dans le cadre d'un recours en nullité cantonal (arrêt 4A_329/2009 du 1er décembre 2010 consid. 2.1; arrêt 4A_531/2007 du 5 mars 2008 consid. 2.2).
En l'espèce, le recourant pouvait ainsi soulever le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits devant la Chambre des recours du Tribunal cantonal vaudois. Faute de l'avoir fait, il n'a pas épuisé les voies de droit cantonales, de sorte que le grief, qui n'est pas dirigé contre une décision de dernière instance cantonale, est irrecevable.
Il faut rappeler que la constatation manifestement inexacte dont parle l'art. 105 al. 2 LTF n'est qu'un cas d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314; 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5).
En conséquence, le recourant ne peut pas, comme il le fait abondamment dans son recours, invoquer l'arbitraire pour se plaindre de l'appréciation des preuves et des constatations de fait reposant sur celle-ci. Le raisonnement juridique doit être mené sur la base des faits constatés dans le jugement déféré (art. 105 al. 1 LTF).
1.3 En revanche, dans la mesure où le recourant se plaint d'une violation du droit fédéral, ses griefs sont en principe recevables.
En effet, le recours a été interjeté par une partie qui a succombé dans ses conclusions condamnatoires et qui a donc qualité pour recourir (art. 76 al. 1 LTF). Il est dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. selon les conclusions prises en dernière instance cantonale (art. 51 al. 1 let. a et 74 al. 1 let. b LTF) et a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.4 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il n'est pas ouvert pour se plaindre d'une mauvaise application du droit cantonal (ATF 136 I 241 consid. 2.4 p. 249). La partie recourante pourrait cependant, par une motivation circonstanciée (art. 106 al. 2 LTF), se plaindre d'arbitraire dans l'application du droit cantonal (ATF 134 III 379 consid. 1.2 p. 382 s.).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente. Il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4).
En l'espèce, le recourant ne critique le décompte opéré entre les parties que sur quatre points, si bien que l'examen sera limité aux questions qui ont été soulevées.
Par exception à la règle selon laquelle le Tribunal fédéral applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
Dans sa réponse, l'intimée observe que le recourant a demandé, dans ses conclusions, l'annulation du jugement rendu le 8 septembre 2011, et non pas le 8 septembre 2010; comme le Tribunal fédéral est lié par les conclusions prises, poursuit-elle, il ne serait pas possible de donner suite au recours.
Les conclusions prises par le recourant demandent expressément la réforme du jugement no 121/2010/PMR dans la cause no CO 06.018798. Or, ces références, qui se trouvent sur le rubrum du jugement déféré, permettent de l'identifier sans aucune hésitation. Quant à la date du jugement attaqué, la mention du 8 septembre 2011 au lieu du 8 septembre 2010 relève manifestement d'une erreur de plume qui doit rester sans conséquence. Celle-ci peut être rectifiée. L'argument soulevé, qui relève du formalisme excessif, est sans consistance,
2. 2.1 Il ressort des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que les parties ont conclu un contrat d'entreprise au sens des art. 363 ss CO. Le prix de l'ouvrage a été fixé à forfait (art. 373 CO), sous réserve des modifications apportées par la suite (art. 374 à 375 CO).
En tant que demandeur pour les prestations qui restent litigieuses devant le Tribunal fédéral, le recourant devait apporter la preuve des faits permettant de déduire les prétentions qu'il invoque (art. 8 CC; sur le sens et la portée de cette disposition: cf. ATF 130 III 321 consid. 3.1 p. 323; 129 III 18 consid. 2.6 p. 24).
Quant aux accords passés entre les parties, ils doivent être interprétés conformément aux principes découlant du droit fédéral (sur l'interprétation des manifestations de volonté: cf. ATF 135 III 410 consid. 3.2 p. 412 s.; 131 III 606 consid. 4.1 p. 611).
Dans l'acte de recours, comme on l'a déjà relevé, le litige est limité à quatre points, qu'il convient maintenant d'examiner.
2.2 Selon le descriptif des travaux annexé au contrat d'entreprise, le revêtement extérieur de la construction devait être composé d'un bardage en lames de sapin de vingt millimètres. Il est ajouté: "Plus-value pour essence cèdre: Frs. 25'000.-". On doit logiquement en déduire, à la lumière de la théorie de la confiance, que l'exécution pour le prix forfaitaire comportait un bardage en lames de sapin; si le maître de l'ouvrage optait pour de l'essence de cèdre, il devait verser une plus-value de 25'000 fr.
Il a été établi que le maître de l'ouvrage a commandé un bardage en essence de cèdre et qu'il l'a effectivement reçu. Arrivé à ce stade du raisonnement, il appert qu'il devait verser 25'000 fr. en plus du prix forfaitaire.
Toutefois, le bardage livré ne correspondait pas à la teinte choisie par le maître de l'ouvrage, de sorte qu'il en résultait un préjudice esthétique, ainsi que l'a constaté l'expert. La cour cantonale a cependant établi que les parties ont trouvé un terrain d'entente, en ce sens que le maître de l'ouvrage acceptait la pose du bardage livré, moyennant quoi la plus-value de 25'000 fr. était annulée (cf. consid. III/7 du jugement attaqué).
Il résulte de cette transaction, interprétée selon le principe de la confiance, que le maître de l'ouvrage a reçu un bardage en essence de cèdre sans avoir à payer une plus-value de 25'000 fr., parce que la teinte livrée ne correspondait pas à son choix.
Dans son recours, le maître de l'ouvrage voudrait qu'une moins-value de 25'000 fr. soit déduite du prix forfaitaire. Cela reviendrait à dire que l'exécution fournie, en raison de l'erreur sur la teinte, vaudrait 25'000 fr. de moins qu'un bardage en lames de sapin, alors même que le bardage est en essence de cèdre. Il ne ressort nullement des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que la transaction ait porté sur une telle moins-value. Il résulte au contraire des faits constatés que les parties sont convenues de supprimer la plus-value de 25'000 fr. pour essence de cèdre à la place du sapin afin de tenir compte du fait que la teinte ne correspondait pas au choix du maître. En revanche, il n'y a aucune trace d'un accord sur une moins-value par rapport au prix forfaitaire. Il n'apparaît pas que les règles du droit fédéral sur l'interprétation des manifestations de volonté aient été violées. On cherche vainement le fondement de la prétention du recourant, qui tend à enlever au prix forfaitaire deux fois 25'000 fr., soit 50'000 fr., en raison de cette erreur de teinte.
Ce grief doit être rejeté.
2.3 Le recourant soutient que pour éviter l'inscription d'une hypothèque légale, il a payé 15'000 fr. directement à un sous-traitant, alors que ce paiement incombait à l'entrepreneur général; il réclame le remboursement de cette somme.
Procédant à une appréciation des preuves, la cour cantonale est parvenue à la conclusion que le demandeur n'avait pas été à même de prouver qu'il avait effectivement payé cette somme de 15'000 fr. au sous-traitant (cf. consid. V du jugement déféré).
Savoir si le recourant a payé ou non ces 15'000 fr. au sous-traitant est une pure question d'appréciation des preuves et d'établissement des faits. A ce sujet, le recourant invoque l'arbitraire, mais il pouvait soulever ce moyen par la voie d'un recours en nullité cantonal. Faute d'avoir épuisé les instances cantonales, il n'est pas recevable à soulever ce problème devant le Tribunal fédéral.
En conséquence, il n'y a pas lieu d'entrer en matière sur ce grief.
2.4 Le recourant reproche à la cour cantonale de ne pas avoir condamné sa partie adverse à lui rembourser ses frais d'avocat pour deux procédures d'hypothèques légales.
L'une de ces deux procédures concerne les parties elles-mêmes et constituait une prémisse au litige. La cour cantonale a affirmé que les honoraires seraient dédommagés par le biais des dépens fixés dans la procédure principale (cf. consid. VI let. b in fine du jugement cantonal).
Le recourant ne conteste pas vraiment que la cour cantonale ait pris en compte les frais de cette procédure dans la fixation des dépens. Déterminer si les dépens fixés dans la procédure en inscription définitive de l'hypothèque légale comprennent aussi les frais de la procédure préalable en inscription provisoire est une question qui relève des normes régissant la fixation des dépens. Or, la procédure ayant été introduite avant l'entrée en vigueur du CPC, la fixation des dépens par la cour cantonale relevait exclusivement du droit vaudois (art. 404 al. 1 CPC). Le recours en matière civile n'est pas ouvert pour se plaindre d'une violation du droit cantonal (art. 95 et 96 LTF). Le recourant n'invoque pas l'arbitraire dans l'application d'une norme cantonale qu'il citerait avec précision (art. 106 al. 2 LTF). En conséquence, cette question est soustraite à l'examen du Tribunal fédéral.
Pour l'autre procédure d'hypothèque légale, la cour cantonale a conclu que le recourant n'avait pas prouvé le montant des honoraires, parce qu'il était mélangé avec celui de la première procédure, de telle manière qu'il n'était pas possible de les dissocier (cf. consid. VI let. b du jugement attaqué).
Il est évident qu'il incombait au recourant de prouver le montant des honoraires d'avocat qu'il avait assumé et dont il demandait le remboursement. Sous cet angle, il n'y a aucune violation de l'art. 8 CC. Savoir si, sur la note d'honoraires produite, les frais des deux procédures sont mêlés de telle manière qu'ils ne peuvent pas être dissociés est une question qui relève de l'établissement des faits. Le recourant n'ayant pas épuisé les instances cantonales pour se plaindre d'arbitraire dans la constatation des faits, il n'est pas possible d'entrer en matière à cet égard.
2.5 La cour cantonale est parvenue à la conclusion que l'intimée devait au recourant, en capital, la somme de 6'642 fr.50; toutefois, le dispositif ayant déjà été envoyé aux parties avec un montant de 4'499 fr.65 découlant d'une erreur dans le calcul des indemnités de retard, la cour cantonale a estimé qu'elle n'était pas en droit de modifier ce chiffre (cf. consid. V in fine du jugement critiqué).
L'existence de cette erreur de calcul n'est pas contestée devant le Tribunal fédéral et il n'y a pas lieu d'y revenir.
Il est évident que si la cour cantonale n'a pas accordé au recourant la totalité de la somme qui lui était contractuellement due, elle a violé le droit fédéral qui prescrit une action en exécution en vue d'obtenir les prestations contractuelles (art. 107 al. 2 CO; LUC THÉVENOZ, Commentaire romand, Code des obligations I, 2003, n° 4 ad Intro. art. 97-109 CO).
Il sied de rectifier le jugement attaqué sur ce point, ce à quoi l'intimée ne s'oppose d'ailleurs pas.
3. Le recourant réclamait 48'179 fr.20 de plus (52'678,85 - 4'499,65) et il obtient 2'142 fr.85 de plus (6'642,50 - 4'499,65), soit le 4,4 % de ses prétentions devant le Tribunal fédéral. Cette proportion est tellement insignifiante qu'il y a lieu de considérer qu'il succombe et qu'il doit être condamné aux frais et dépens (art. 66 al. 1 et 68 al. 1 et 2 LTF), sans qu'il y ait lieu de modifier la décision rendue pour les frais et dépens de la procédure cantonale.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis.
2. Le chiffre I du jugement attaqué est réformé en ce sens que Y._ SA doit payer à X._ la somme de 6'642 fr.50 avec intérêts à 5% l'an dès le 27 juillet 2006. Le jugement attaqué est confirmé pour le surplus.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux mandataires des parties et à la Cour civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Ramelet