Faits:
A. Par contrat du 14 novembre 2000, Y._ SA a cédé à X._, moyennant un loyer mensuel de 4'041 fr. plus 150 fr. d'acompte de chauffage et d'eau chaude, l'usage de locaux commerciaux, dont la surface indiquée était approximativement de 246 m2, dans un immeuble sis avenue V._ à Lausanne, afin d'y poursuivre l'exploitation d'un solarium; conclu initialement du 1er décembre 2000 au 1er octobre 2002, le bail devait ensuite se renouveler tacitement de cinq ans en cinq ans, sauf congé donné une année à l'avance. Par la suite, le loyer mensuel, qui était soumis à une clause d'indexation, a été augmenté à 4'082 fr. dès le 1er mai 2003, puis à 4'138 fr. dès le 1er août 2004.
Le locataire ayant manifesté la volonté de résilier le bail pour le 31 octobre 2005, la bailleresse, par lettre du 22 septembre 2005, lui a fait observer qu'en raison de la clause de tacite reconduction du contrat, il était lié jusqu'au 30 septembre 2007.
X._ a expliqué qu'il a alors étudié les problèmes de rentabilité de son solarium et qu'il a appris dans ce contexte, à l'automne 2005, de l'ingénieur A._ que la surface louée ne correspondait pas à celle qui était indiquée dans le contrat. Il a été retenu que le locataire, dans l'année de la découverte de ce fait, a manifesté la volonté d'invalider partiellement le contrat pour cause d'erreur essentielle et qu'à aucun moment après la connaissance exacte des faits, il n'a ratifié la convention conclue.
La bailleresse s'est opposée à l'invalidation partielle du bail commercial pour cause d'erreur essentielle.
B. B.a Les 30 novembre 2005 et 25 avril 2006, le locataire a saisi la Commission de conciliation en matière de baux et loyers du district de Lausanne. Après l'échec de la tentative de conciliation, il a porté la cause devant le Tribunal des baux du canton de Vaud. Outre des conclusions qui ne sont plus en litige, il a demandé, en invoquant une invalidation partielle du contrat pour cause d'erreur essentielle, que le loyer soit réduit proportionnellement à la surface réelle et que le trop-perçu lui soit restitué.
L'instruction a permis d'établir les éléments relevés ci-dessous. La surface réelle des locaux loués était de 204,20 m2 et il était impossible, en raison de la configuration et de l'agencement des locaux, de percevoir de visu que la surface n'était pas conforme à celle mentionnée dans le bail. Le loyer a été fixé en fonction de la surface. La bailleresse a acquis l'immeuble en 1996 et le premier locataire a été un gérant d'immeubles, qui a loué, outre les locaux en cause qui ont été comptés pour 246 m2, des surfaces au 1er étage représentant 120 m2; partant de l'idée que le loyer annuel au mètre carré devait être d'environ 197 fr., le loyer avait été fixé à 6'000 fr. par mois ((246 m2 + 120 m2 = 366 m2) x 197 fr. : 12 mois = 6'008 fr.50). En 1997, le gérant d'immeubles a quitté les locaux; ceux du 1er étage de 120 m2 ont alors été séparés au moment de la relocation. Les locaux litigieux, toujours comptés pour 246 m2, ont été loués à B._ pour un loyer mensuel de 4'041 fr., toujours en partant de la prémisse que le prix devait correspondre approximativement à 197 fr. par année au mètre carré (246 m2 x 197 fr. = 48'462 fr. : 12 mois = 4'038 fr.50). Lorsque B._ a cédé l'exploitation de son solarium à X._ au mois d'avril 2000, le contrat de bail conclu avec le nouvel exploitant a maintenu le loyer mensuel à 4'041 fr. sur la base du même raisonnement.
Statuant par jugement du 28 septembre 2007, le Tribunal des baux a admis l'invalidation partielle du contrat pour cause d'erreur essentielle et réduit le montant convenu ou accepté du loyer (à la suite des majorations successives) en fonction de la différence entre la surface indiquée dans le bail et la surface réelle des locaux; il a condamné la bailleresse à restituer le trop-perçu, soit 49'046 fr.95 avec intérêts à 5 % l'an dès le 18 novembre 2006.
B.b Par arrêt du 26 novembre 2008, la Chambre des recours du Tribunal cantonal vaudois a annulé le jugement attaqué et rejeté la demande du locataire, en considérant qu'il ne s'agissait pas d'un cas d'erreur essentielle.
C. X._ exerce un recours en matière civile au Tribunal fédéral. Soutenant que les conditions d'une invalidation partielle pour cause d'erreur essentielle sont réunies, il conclut à l'annulation de l'arrêt précité et à la confirmation du jugement de première instance.
L'intimée propose le rejet du recours dans la mesure de sa recevabilité.
Considérant en droit:
1. 1.1 Interjeté par la partie demanderesse qui a succombé dans ses conclusions en paiement (art. 76 al. 1 LTF), dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de bail à loyer (art. 74 al. 1 let. a LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 134 III 102 consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 134 III 102 consid. 1.1 p. 105). Il ne peut toutefois entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 135 III 127 consid. 1.5 p. 130; 134 V 53 consid. 4.3) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée. Le recourant ne peut d'ailleurs demander une correction de l'état de fait que si celle-ci est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, l'état de fait retenu par la cour cantonale n'est en rien contesté et constitue donc le fondement du raisonnement juridique qui suit.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
S'il admet le recours, le Tribunal fédéral peut statuer lui-même sur le fond ou renvoyer l'affaire à l'autorité précédente, voire à l'autorité de première instance (art. 107 al. 2 LTF); s'agissant des frais et dépens de la procédure antérieure, il peut également statuer lui-même ou renvoyer la cause en laissant à l'autorité précédente le soin de les fixer (art. 67 et 68 al. 5 LTF).
2. 2.1 Selon l'art. 23 CO, le contrat n'oblige pas celle des parties qui, au moment de le conclure, était dans une erreur essentielle.
Les cas d'erreur essentielle sont énumérés à l'art. 24 CO. L'erreur de calcul, dont parle l'art. 24 al. 3 CO, ne vise que l'hypothèse d'une erreur commune aux deux parties, résultant d'une pure inadvertance dans les opérations arithmétiques, alors qu'en réalité elles sont d'accord sur les prestations dues; ce cas de figure ne concerne pas l'hypothèse où, comme c'est le cas en l'espèce, une partie accepte de conclure le contrat à certaines conditions en étant dans l'erreur sur les surfaces qui lui sont en réalité vendues ou louées (ATF 119 II 341 consid. 2 p. 343; 116 II 685 consid. 2b/bb p. 688). Il ne s'agit pas non plus d'une erreur sur l'étendue des prestations, dont parle l'art. 24 al. 1 ch. 3 CO, puisque le locataire connaissait les locaux qu'il louait et le montant du loyer qu'il devait payer. Le locataire fait valoir qu'il ignorait la surface réelle des locaux (c'est-à-dire qu'il était dans l'erreur sur un fait existant) et qu'il a été amené ainsi à accepter un loyer auquel il n'aurait pas consenti s'il avait connu la situation réelle; il se prévaut donc d'une erreur portant sur un fait que la loyauté commerciale permettait de considérer comme un élément nécessaire du contrat au sens de l'art. 24 al. 1 ch. 4 CO (cf. ATF 129 III 363 consid. 5.3 p. 365; 119 II 341 consid. 2 p. 343).
Le contrat entaché d'une erreur essentielle est tenu pour ratifié lorsque la partie qu'il n'oblige point a laissé s'écouler une année, à compter du moment où l'erreur a été découverte, sans déclarer à l'autre sa résolution de ne pas le maintenir, ou sans répéter ce qu'elle a payé (art. 31 al. 1 et 2 CO). Déterminer à quel moment une partie a découvert son erreur et quand elle a manifesté sa volonté d'invalider le contrat sont des questions de fait qui lient le Tribunal fédéral (art. 105 al. 1 LTF). Il a été constaté in casu que le locataire avait manifesté sa volonté d'invalider partiellement le bail dans l'année à compter de la découverte de son erreur; sur la base d'un tel état de fait, il n'est pas douteux que l'invalidation est intervenue en temps utile. Il a d'autre part été relevé que le locataire, après avoir découvert la réalité, n'a, à aucun moment, manifesté la volonté de maintenir le contrat, de sorte qu'il apparaît d'emblée, sur la base de ces données factuelles liant le Tribunal fédéral, qu'il n'y a pas eu de ratification malgré l'erreur intervenue et qu'il n'y a donc pas à raisonner avec les règles sur les défauts initiaux de la chose louée au sens de l'art. 258 CO.
Bien que les dispositions sur les vices du consentement ne contiennent pas de règle analogue à celle figurant à l'art. 20 al. 2 CO, la jurisprudence a admis qu'une invalidation partielle est possible lorsque la prestation affectée du vice est divisible et que l'on peut admettre que les deux parties auraient conclu le contrat avec une prestation réadaptée pour tenir compte de ce vice (ATF 130 III 49 consid. 3.2 p. 56 et les arrêts cités). Dès l'instant où il a été constaté en l'espèce que la bailleresse partait de l'idée qu'un loyer annuel d'environ 197 fr. au mètre carré était adéquat, un réajustement du loyer en fonction des surfaces réelles est assurément possible.
Selon l'arrêt déféré, la différence entre la surface indiquée et la surface réelle n'était pas perceptible de visu (ce qui distingue le cas de celui cité par la cour cantonale, arrêt 4A_408/2007 du 7 février 2008 consid. 3.3); il a en outre été déjà jugé que le locataire n'était pas tenu de contrôler les surfaces indiquées en les mesurant lui-même (arrêt 4C.5/2001 du 16 mars 2001 consid. 3a); en conséquence, il est évident que l'on ne se trouve pas en présence d'une erreur commise par négligence au sens de l'art. 26 CO, si bien que toute prétention en dommages-intérêts de ce chef est d'emblée exclue.
2.2 Le point à trancher est donc de savoir si l'on se trouve en présence d'une erreur portant sur un fait que la loyauté commerciale permettait de considérer comme un élément nécessaire du contrat au sens de l'art. 24 al. 1 ch. 4 CO.
Pour que ce cas d'erreur essentielle soit réalisé, il faut tout d'abord que le cocontractant puisse se rendre compte de bonne foi que l'erreur de l'autre partie porte sur un fait qui était objectivement de nature à déterminer la partie à conclure le contrat ou à le conclure aux conditions convenues; il faut encore, en se plaçant du point de vue de la partie qui était dans l'erreur, que l'on puisse admettre subjectivement que son erreur l'a effectivement déterminée à conclure le contrat ou à le conclure aux conditions convenues (ATF 132 III 737 consid. 1.3 p. 741; 129 III 363 consid. 5.3 p. 365).
Ce que les parties avaient à l'esprit au moment de conclure ressortit au fait; relève en revanche du droit la qualification d'essentielle au sens de l'art. 24 al. 1 ch. 4 CO de l'erreur constatée (ATF 113 II 25 consid. 1a p. 27).
Dans le domaine du bail à loyer, qu'il s'agisse d'un logement ou d'un local commercial, la surface à louer est évidemment un élément d'appréciation important pour décider de conclure ou non le contrat, ou en tout cas pour apprécier si le loyer demandé est conforme à l'état du marché dans la région concernée (cf. arrêt 4C.5/2001 du 16 mars 2001, consid. 3a). Cela vaut d'autant plus dans le domaine des locaux commerciaux, qui sont constamment évalués et comparés en fonction du prix au mètre carré. L'art. 11 al. 2 de l'Ordonnance sur le bail à loyer et le bail à ferme d'habitations et de locaux commerciaux du 9 mai 1990 (OBLF; RS 221.213.11) prévoit d'ailleurs expressément que le loyer usuel au sens de l'art. 269a let. a CO peut être déterminé sur la base du prix au mètre carré usuel dans le quartier pour des objets semblables. L'intimée serait d'ailleurs d'autant plus mal placée pour contester l'importance de cet élément qu'elle l'a fait figurer dans le contrat et qu'elle admet elle-même que le loyer proposé a été déterminé en fonction des mètres carrés. La surface louée, en tant que critère déterminant pour fixer le loyer, était donc un fait que la loyauté commerciale permettait objectivement de considérer comme un élément nécessaire du contrat.
Il est vrai que le contrat n'indiquait qu'une surface approximative. Cette réserve doit être interprétée selon le principe de la confiance (cf. ATF 132 III 24 consid. 4 p. 27/28). Elle doit être comprise de bonne foi en ce sens que le bailleur, sachant que la détermination exacte de la surface est dans la réalité une opération difficile, a cherché à se protéger contre une réclamation qui procéderait d'une menue divergence de calcul.
Or il n'y a rien de tel en l'espèce. La surface réelle est de 204,20 m2, au lieu des 246 m2 indiqués. Il s'agit d'une différence de 41,8 m2 représentant près de 17 % de la surface mentionnée dans le bail. On ne saurait parler à ce sujet d'une petite divergence de calcul. Si le caractère approximatif de la surface indiquée pouvait impliquer une certaine marge d'erreur, le locataire n'avait pas à compter avec une pareille différence, laquelle ne peut en aucun cas être couverte par la notion de surface approximative.
On observera à ce propos que, s'agissant d'un logement, la jurisprudence a admis une erreur essentielle dans un cas où la superficie réelle était inférieure de 13 m2 à celle figurant dans le bail, ce qui correspondait à une pièce de dimension moyenne en moins (ATF 113 II 25 consid. 1b p. 28 s.). Cet ordre de grandeur a été rappelé dans un autre cas où le locataire s'était fondé sur la garantie des défauts (arrêt 4C.81/1997 du 26 janvier 1998, consid. 3b/bb). Dans un autre arrêt, l'idée a été émise qu'une différence supérieure à 10% n'était en tout cas pas admissible et fondait une erreur essentielle (arrêt 4C.5/2001 du 16 mars 2001 consid. 3a).
Il reste à examiner si, d'un point de vue subjectif, des circonstances particulières font apparaître que l'indication erronée de la surface n'avait pas un caractère essentiel pour le locataire d'espèce. La jurisprudence l'a déjà admis dans plusieurs cas, où il apparaissait, en fonction de circonstances particulières, que le locataire n'avait attaché aucune importance à l'indication erronée qu'il avait reçue (cf. ATF 129 III 363 consid. 5.3 p. 365; arrêt 4A_408/2007 du 7 février 2008, consid. 3.3; arrêt 4C.5/2001 du 16 mars 2001, consid. 3b).
En l'occurrence, d'après l'état de fait déterminant, la différence n'était pas décelable de visu et le locataire n'en a pas eu connaissance avant les calculs d'un ingénieur en automne 2005. Le locataire pouvait se fier à la surface qui lui était indiquée, sans être tenu de procéder lui-même à des calculs (cf. consid. 2.1 in fine ci-dessus). Aucune constatation cantonale ne permet de penser que le locataire ait été à même de se rendre compte de la différence auparavant, à telle enseigne que, de son absence de réaction, l'on puisse déduire que la question n'avait pas d'importance pour lui. La présente espèce se distingue donc de celles où l'indifférence du locataire a été admise.
La cour cantonale semble avoir considéré qu'en occupant les locaux pendant plusieurs années sans protester, le locataire avait montré, par son comportement, que les locaux loués étaient conformes à ses attentes et qu'il ne souhaitait pas une surface plus importante. En raisonnant ainsi, la Chambre des recours a perdu de vue que le contrat de bail comporte deux prestations qui s'échangent: la cession de l'usage d'une chose et le paiement du loyer (art. 253 CO). Or, le différend ne se pose pas sous l'angle de la détermination de la chose (le locataire savait quels locaux lui étaient loués et il les connaissait), mais sur la détermination du loyer (qui a été effectuée en fonction des mètres carrés). Il est sans doute exact de dire que le locataire se satisfaisait des locaux qui lui étaient loués, mais la question est de savoir si l'intéressé était subjectivement disposé à payer un loyer surfait parce que celui-ci avait été arrêté en fonction d'une surface erronée. Du moment que la différence de surface est de 41,8 m2 et que le loyer a été arrêté sur la base approximative d'un prix de 197 fr. le mètre carré, l'écart en valeur est d'environ 8'200 fr. par an. Il est insoutenable de penser que l'exploitant d'une petite entreprise est indifférent à l'idée de payer 8'200 fr. de trop par année. Rien ne permet de supposer que le locataire n'attachait aucune importance à la surface qui lui était indiquée pour apprécier le montant du loyer demandé. On doit bien au contraire reconnaître qu'une telle différence était aussi subjectivement essentielle.
Partant, il sied d'admettre - contrairement à la cour cantonale - que le locataire a invalidé partiellement le contrat pour cause d'erreur essentielle au sens de l'art. 24 al. 1 ch. 4 CO.
Les calculs effectués par les juges de première instance pour réajuster les loyers convenus en fonction de la surface effective et pour déterminer ainsi le trop-perçu à restituer n'ont été critiqués par aucune des parties devant le Tribunal fédéral, de sorte qu'il suffit d'en revenir au jugement de première instance. La cause sera renvoyée à l'autorité précédente pour déterminer à nouveau les frais et dépens de la procédure cantonale, puisque l'abandon de certaines conclusions - que le Tribunal fédéral n'a pas dû examiner - peut poser problème.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
2. Le loyer mensuel net dû par le recourant à l'intimée pour les locaux commerciaux sis à l'avenue V._ à Lausanne est fixé à:
- 3'367 fr.50 du 1er décembre 2000 au 30 avril 2003;
- 3'401 fr.65 du 1er mai 2003 au 31 juillet 2004;
- 3'448 fr.35 dès le 1er août 2004.
L'intimée est condamnée à rembourser au recourant la somme de 49'046 fr.95 avec intérêts à 5% l'an dès le 18 novembre 2006.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimée.
4. L'intimée versera au recourant une indemnité de 2'500 fr. à titre de dépens.
5. La cause est renvoyée à l'autorité cantonale pour nouvelle décision sur les frais et dépens de la procédure cantonale.
6. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaut.
Lausanne, le 10 juin 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Ramelet