Faits: A. Par contrat du 25 août 2004, X._, propriétaire d'une parcelle à ... (Vaud), a chargé l'entreprise générale Y._ SA de construire sur ce terrain une villa familiale avec un couvert pour deux voitures pour le prix forfaitaire de 1'085'000 fr. Simultanément, les parties ont conclu une convention annexe qui ajoute une somme supplémentaire de 100'000 fr. au prix forfaitaire précité. La direction des travaux était assurée par l'entrepreneur général, tandis que le maître de l'ouvrage était assisté de l'architecte A._, qui avait établi les plans du projet initial. Au cours des travaux, différentes modifications ont été apportées par rapport au descriptif général de construction annexé au contrat, entraînant tantôt des plus-values, tantôt des moins-values. L'ouvrage a été livré avec du retard le 14 octobre 2005, alors qu'il restait différents travaux à effectuer. Les parties sont en litige sur la détermination du solde dû entre elles, compte tenu des plus-values, des moins-values et des indemnités de retard. B. Par demande du 8 mai 2006, X._ a ouvert action devant la juridiction vaudoise contre Y._ SA, concluant à ce que cette dernière soit condamnée à lui verser la somme de 175'373 fr.95 avec intérêts à 5 % dès le 22 novembre 2005. Y._ SA s'est opposée à la demande et a conclu reconventionnellement à ce que sa partie adverse soit condamnée à lui verser la somme de 114'975 fr.70 avec intérêts à 5 % dès le 25 novembre 2005; elle a requis également l'inscription d'une hypothèque légale des artisans et entrepreneurs. Une expertise a été ordonnée et confiée à B._, architecte diplômé EPFL-SIA. Par jugement du 8 septembre 2010, la Cour civile du Tribunal cantonal vaudois, statuant en instance cantonale unique, a condamné la défenderesse à payer au demandeur la somme de 4'499 fr.65 avec intérêts à 5 % l'an dès le 27 juillet 2006, tranchant par ailleurs sur les frais et dépens. C. X._ exerce un recours en matière civile au Tribunal fédéral contre ce jugement. Invoquant la violation de diverses dispositions de droit fédéral (art. 8 CC, art. 363, 373, 374 et 375 CO), ainsi que l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves et l'établissement des faits, il conclut à ce que sa partie adverse soit condamnée à lui verser non pas 4'499 fr.65, mais 52'678 fr.85 plus intérêts à 5% l'an dès le 27 juillet 2006. L'intimée propose le rejet du recours.