Faits:
A. Y._-Assurance pour la vieillesse (ci-après: Y._), établissement de droit public dont le but est de promouvoir la prévoyance pour la vieillesse en servant des rentes à ses assurés, est propriétaire d'un immeuble sis rue ... à Genève. Au rez-de-chaussée se trouve une arcade qui est louée, depuis 1958, à la famille X._, laquelle y exploite une boutique de vente de vêtements, spécialisée dans les articles pour enfants, à l'enseigne "V._". A la fin des années 1970, la boutique, alors en main de B.X._, a été reprise par son fils, A.X._.
Le 1er janvier 2001, Y._ et A.X._ ont conclu un nouveau contrat de bail pour une durée de dix ans, allant du 1er janvier 2001 au 31 décembre 2010, renouvelable ensuite d'année en année, sauf résiliation donnée six mois avant l'échéance. Le loyer annuel, charges comprises, a été fixé à 87'000 fr. avec une clause d'échelonnement; depuis le 1er janvier 2009, il est supérieur à 90'000 fr. par an.
Par avis officiel du 9 octobre 2008, Y._ a résilié le contrat pour le 31 décembre 2010.
A.X._ s'est opposé au congé.
Y._ a expliqué qu'elle avait l'intention de récupérer les locaux loués pour aménager, au rez-de-chaussée du bâtiment, un espace accessible au public destiné à promouvoir ses produits de prévoyance et comprenant un kiosque, un café, un bancomat et une structure d'information. Le 29 mars 2010, le département compétent a autorisé les travaux de réaménagement de l'arcade litigieuse. Cette autorisation est entrée en force.
A.X._, qui a eu 65 ans en septembre 2009, a expliqué qu'il ne pouvait pas trouver des locaux équivalents au centre de la ville (une arcade qui lui a été proposée à la rue ... étant inappropriée), qu'il n'entendait pas vendre son fonds de commerce et qu'il souhaitait le remettre à ses filles.
B. Par requête du 7 novembre 2008, A.X._ a demandé l'annulation du congé et subsidiairement une prolongation du bail d'une durée de six ans.
Y._ s'est opposée à la demande.
Le 26 juin 2009, la Commission de conciliation en matière de baux et loyers a déclaré que le congé était valable et a accordé à A.X._ une prolongation du bail jusqu'au 31 décembre 2014.
Saisi par le locataire, le Tribunal des baux et loyers du canton de Genève, par jugement du 24 mars 2011, a déclaré valable le congé donné le 9 octobre 2008 pour le 31 décembre 2010 et a accordé au locataire une prolongation du bail de quatre ans échéant au 31 décembre 2014.
Saisie d'un appel formé par le locataire et d'un appel incident formé par la bailleresse, la Chambre des baux et loyers de la Cour de justice genevoise, statuant par arrêt du 20 février 2012, a rejeté aussi bien l'appel que l'appel incident et confirmé le jugement attaqué.
C. A.X._ exerce un recours en matière civile au Tribunal fédéral. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits ainsi qu'une violation des art. 271 et 272 CO, il conclut à l'annulation de l'arrêt attaqué et à ce que la résiliation du bail soit déclarée nulle; subsidiairement, il conclut à l'octroi d'une prolongation de bail de six ans et, plus subsidiairement, à ce que la prolongation de quatre ans soit qualifiée de première prolongation.
L'intimée propose le rejet du recours dans la mesure où il est recevable.

Considérant en droit:
1. 1.1 Lorsque - comme c'est le cas en l'espèce - les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF) portaient sur l'annulation d'un congé donné au locataire dans le cas d'un bail de durée indéterminée, la valeur litigieuse équivaut au loyer de la période minimale pendant laquelle le contrat subsiste si la résiliation n'est pas valable, période qui s'étend jusqu'à la date pour laquelle un nouveau congé peut être donné; la durée déterminante pour le calcul ne saurait être inférieure à la période de trois ans pendant laquelle l'art. 271a al. 1 let. e CO prévoit l'annulabilité d'une résiliation signifiée après une procédure judiciaire (<ref-ruling> consid. 1.1 p. 390). En l'espèce, le loyer annuel s'élève à plus de 90'000 fr., de sorte qu'il n'est pas douteux que la valeur litigieuse minimale de 15'000 fr. requise en matière de droit du bail à loyer par l'art. 74 al. 1 let. a LTF est atteinte.
Le recours est interjeté par la partie qui a succombé dans ses conclusions en annulation du congé et qui a succombé partiellement dans ses conclusions subsidiaires en prolongation du bail; la qualité pour recourir doit donc être admise (art. 76 al. 1 LTF).
Dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par un tribunal supérieur statuant sur recours en dernière instance cantonale (art. 75 LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est pas limité par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut donc admettre un recours pour d'autres motifs que ceux qui ont été articulés, ou à l'inverse, rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 317 s.; <ref-ruling> consid. 1.4 et l'arrêt cité). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.3 p. 584; <ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF; ATF <ref-ruling> consid. 1.4 in fine).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les constatations factuelles de l'autorité cantonale ont été établies de façon manifestement inexacte - notion qui correspond à celle d'arbitraire telle que l'entend l'art. 9 Cst. (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui veut s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF <ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 1.2 p. 187). Si le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits, il doit motiver son grief en respectant les exigences strictes déduites de l'art. 106 al. 2 LTF (<ref-ruling> consid. 4.1.2 p. 62). Une rectification de l'état de fait ne peut être demandée que si elle est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, le recourant présente, sur plus de douze pages, son propre état de fait. Comme il n'invoque avec précision aucune des exceptions prévues par l'art. 105 al. 2 LTF, il n'y a pas lieu d'en tenir compte. De la même manière, les pièces qu'il a produites ne peuvent pas être prises en considération, puisque la production de nouveaux moyens de preuve devant le Tribunal fédéral est exclue par l'art. 99 al. 1 LTF.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Il résulte des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que les parties sont convenues que l'intimée cédait au recourant l'usage de locaux commerciaux moyennant le paiement périodique d'une somme d'argent que le recourant s'obligeait à verser. On se trouve donc en présence d'un bail à loyer au sens de l'art. 253 CO.
2.2 En utilisant la formule prescrite par l'art. 266l al. 2 CO, la bailleresse a résilié le contrat pour son échéance et a respecté le délai de préavis de six mois.
Lorsque le bail est de durée indéterminée - ce qui est le cas en l'espèce en raison de la clause de tacite reconduction -, chaque partie peut le résilier en observant les délais de congé et les termes légaux, sauf si un délai plus long ou un autre terme ont été convenus (art. 266a al. 1 CO). Pour les locaux commerciaux, le délai légal de congé est de six mois (art. 266d CO).
Le bail est un contrat qui n'oblige les parties que jusqu'à l'expiration de la période convenue; arrivé au terme du contrat, la liberté contractuelle renaît et chacun a la faculté de conclure ou non un nouveau contrat et de choisir son cocontractant. En principe, chacune des parties est donc libre de mettre fin à la relation de bail pour l'échéance prévue, en respectant les conditions du préavis contractuel (arrêt 4A_735/2011 du 16 janvier 2012 consid. 2.2).
Un droit ne peut cependant pas être exercé contrairement aux règles de la bonne foi. L'art. 271 al. 1 CO prévoit ainsi que le congé est annulable lorsqu'il contrevient auxdites règles.
L'art. 271a CO énumère des cas où le congé donné par le bailleur est annulable. En l'espèce, on ne se trouve dans aucune de ces hypothèses. Dès lors, le congé ne pourrait être annulé que sur la base de la règle générale contenue à l'art. 271 al. 1 CO. Il faudrait pour cela qu'il apparaisse que le congé ne réponde à aucun intérêt objectif, sérieux et digne de protection, qu'il soit purement chicanier ou encore qu'il repose sur un motif qui ne constitue manifestement qu'un prétexte (<ref-ruling> consid. 4.1 p. 119).
Pour dire si le congé contrevient ou non aux règles de la bonne foi, il faut tout d'abord en déterminer le motif réel, ce qui relève des constatations de fait (<ref-ruling> consid. 2 p. 192). Il s'agit d'une question d'appréciation des preuves qui ne peut être réexaminée par le Tribunal fédéral que sous l'angle restreint de l'arbitraire (sur la notion d'arbitraire: <ref-ruling> consid. 7.1 p. 51; sur l'arbitraire dans l'appréciation des preuves et l'établissement des faits. cf. <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 2.1 p. 9).
Le recourant soutient certes que la bailleresse aurait varié dans ses projets, que le motif invoqué ne serait qu'un prétexte et qu'elle voudrait en réalité relouer les locaux pour un loyer plus élevé. Cette version des faits s'oppose clairement aux constatations qui lient le Tribunal fédéral (art. 105 al. 1 LTF). De surcroît, le recourant n'a pas démontré, par une argumentation précise en se référant à des pièces du dossier, que les constatations cantonales seraient insoutenables. L'arbitraire n'étant pas suffisamment expliqué (art. 106 al. 2 LTF), il n'est pas possible d'entrer en matière sur ce grief.
Il faut donc retenir - conformément aux constatations cantonales - que le congé a été donné parce que la bailleresse entend récupérer les locaux pour elle-même en vue d'y créer un espace accessible au public où elle entend promouvoir ses produits de prévoyance, même s'il est possible que ses projets n'aient pas été d'emblée clairement définis. Qu'elle ait obtenu une autorisation de construire montre le caractère sérieux et actuel de son intention.
La bailleresse est propriétaire de l'immeuble, de sorte qu'elle a un lien perpétuel avec ce bien, tandis que le locataire, lui, ne peut se trouver que dans un rapport temporaire (<ref-ruling> consid. 5 p. 195). Le propriétaire est donc en principe libre de décider de changer l'affectation de sa chose après l'expiration du contrat de bail.
Pour statuer sur la validité d'un congé, il ne faut pas procéder à la pesée des intérêts du bailleur (intérêt à récupérer son bien) et ceux du locataire (à rester dans les locaux loués); la comparaison entre les intérêts n'intervient que dans le cadre d'une requête en prolongation du bail (arrêt 4A_575/2008 du 19 février 2009 consid. 2.2). Il est donc sans pertinence, pour statuer sur l'annulation du congé, de savoir si l'intérêt du locataire à se maintenir dans les lieux est plus grand que l'intérêt du bailleur à le voir partir.
Une annulation ne peut être prononcée que si la résiliation apparaît contraire aux règles de la bonne foi. Or on ne voit pas ce qu'il y aurait de choquant ou de déloyal à ce qu'un propriétaire souhaite récupérer sa chose pour y promouvoir ses activités commerciales. En considérant que le motif du congé constaté par la cour cantonale ne contrevenait pas aux règles de la bonne foi, l'arrêt attaqué n'a pas violé le droit fédéral.
2.3 Le recourant reproche à la cour cantonale de ne pas lui avoir accordé une prolongation du bail pour la durée maximale de six ans prévue pour les locaux commerciaux (art. 272b al. 1 CO).
Pour déterminer, dans les limites légales, la durée de la prolongation du bail, le juge doit procéder à une pesée des intérêts en présence, en tenant compte de toutes les circonstances pertinentes (art. 272 al. 2 CO).
Le juge apprécie librement, selon les règles du droit et de l'équité (art. 4 CC), s'il y a lieu de prolonger le bail et, dans l'affirmative, pour quelle durée. Il doit procéder à la pesée des intérêts en présence et tenir compte du but d'une prolongation, qui est de donner du temps au locataire pour trouver des locaux de remplacement. Il lui incombe de prendre en considération tous les éléments du cas particulier, tels que la durée du bail, la situation personnelle et financière de chaque partie, leur comportement, de même que la situation sur le marché (<ref-ruling> consid. 6 p. 195). Il peut tenir compte du délai qui s'est écoulé entre le moment de la résiliation et celui où elle devait prendre effet, ainsi que du fait que le locataire n'a pas entrepris de démarches sérieuses pour trouver une solution de remplacement (<ref-ruling> consid. 4c p. 230). Il se demandera s'il est particulièrement difficile pour le locataire de trouver des locaux de remplacement, et tiendra compte du besoin plus ou moins urgent pour le bailleur de voir partir le locataire (<ref-ruling> consid. 6 p. 196).
Lorsque la situation ne paraît pas de nature à évoluer, il n'y a pas de violation du droit fédéral à fixer d'emblée une unique prolongation, plutôt que d'envisager deux prolongations successives (arrêt 4A_735/2011 du 16 janvier 2012 consid. 2.5).
Pour déterminer la durée de la prolongation, le juge dispose d'un large pouvoir d'appréciation (<ref-ruling> consid. 2 p. 123 s.). Dans une telle situation, le juge du fait ne viole pas la règle de droit en faisant usage du pouvoir d'appréciation qu'elle lui accorde. Le Tribunal fédéral ne doit en principe pas substituer sa propre appréciation à celle du juge du fait; il ne peut intervenir, en considérant la règle de droit comme violée, que si l'autorité a excédé les limites de son pouvoir d'appréciation (c'est-à-dire si elle a prononcé quelque chose que la norme ne permettait pas), si elle n'a pas respecté les critères prévus par la norme, si elle s'est laissé guider essentiellement par des considérations étrangères à la disposition applicable ou encore si elle est parvenue, en exerçant son pouvoir, à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 5.4 p. 211; <ref-ruling> consid. 3.3 p. 762).
En l'espèce, il fallait tenir compte du fait que le recourant exploite depuis longtemps ce commerce à cet endroit et qu'il lui est pratiquement impossible de trouver des locaux de remplacement qui puissent être qualifiés d'équivalents. Il est donc exposé à devoir mettre fin à son activité économique, ce qui constitue assurément des conséquences pénibles. La prolongation de quatre ans qui lui a été accordée lui permettra cependant d'exercer son activité professionnelle jusqu'à l'âge de 70 ans, ce qui correspond, même pour un indépendant, à un âge ordinaire pour mettre fin à son activité lucrative. La prolongation accordée paraît donc propre à atténuer les conséquences pénibles invoquées. Le recourant fait valoir qu'il aurait souhaité remettre son commerce à ses filles. Il apparaît cependant d'emblée qu'une prolongation supplémentaire de deux ans ne permettrait pas d'atteindre cet objectif; au demeurant - comme on l'a vu -, un locataire ne peut pas prétendre occuper éternellement les locaux loués et les transmettre de génération en génération. Le recourant observe aussi qu'il perd la possibilité de recevoir un pas-de-porte s'il vendait son commerce. Outre qu'il a déclaré n'avoir pas l'intention de vendre, un locataire ne peut avoir aucune assurance que le bailleur ne va pas reprendre les locaux pour lui-même; une prolongation supplémentaire de deux ans ne saurait d'ailleurs remédier à l'inconvénient évoqué.
D'un autre côté, il sied de tenir compte du souhait légitime du propriétaire de récupérer ses locaux pour y promouvoir son activité commerciale. Cet intérêt est plus ou moins pressant, puisqu'une autorisation de construire a été délivrée.
En fixant l'unique prolongation du bail à quatre ans (le locataire ayant déjà été informé de la résiliation par avis du 9 octobre 2008), la cour cantonale n'a pas abusé de son large pouvoir d'appréciation.
Partant, la décision attaquée ne viole pas le droit fédéral.
3. En définitive, le recours doit être rejeté. Les frais judiciaires et les dépens sont mis à la charge du recourant qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre des baux et loyers.
Lausanne, le 2 août 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Ramelet