Faits:
A. Le 16 mai 1995, A._, B._, C._, D._ et E._, alors copropriétaires de l'immeuble, ont conclu un nouveau contrat de bail avec X._, cédant à ce dernier l'usage de bureaux représentant une surface de 138 m2 au 1er étage d'un bâtiment, à Genève, moyennant un loyer annuel fixé à 27'864 fr. pour la première année et à 29'200 fr. pour les deux années suivantes, le loyer étant ensuite indexé. Le bail était conclu pour une durée de cinq ans, renouvelable ensuite d'année en année, sauf congé donné six mois avant l'échéance. Par la suite, le contrat a été modifié en ce sens qu'il se renouvelle, à compter du 1er octobre 2000, de six mois en six mois. X._ exerce l'activité de notaire dans les locaux loués depuis l'année 1958.
Par avis officiel daté du 22 mai 2006 et établi par le gérant de l'immeuble, les bailleurs d'alors, soit les copropriétaires F._, G._, H._, Y._ et I._, ont résilié le bail pour l'échéance du 31 mars 2007. A la demande du locataire, la régie a expliqué que la résiliation était motivée par la décision des propriétaires d'effectuer des travaux de transformation et de rénovation dans l'immeuble, en particulier la création d'un ascenseur qui doit être réalisée en partie dans les locaux loués.
Par inscription au registre foncier du 12 février 2007, Y._ est devenu propriétaire de la totalité de l'immeuble à la suite de l'exercice de son droit de préemption. Il est donc devenu le bailleur dès cette date.
B. Par requête du 16 juin 2006, X._ a contesté la résiliation de son bail auprès de la Commission de conciliation en matière de baux et loyers et il a conclu à l'annulation du congé et subsidiairement à une prolongation du bail jusqu'au 31 mars 2013.
Par décision du 9 novembre 2007, la Commission de conciliation en matière de baux et loyers a mis hors de cause les anciens copropriétaires de l'immeuble, déclaré valable le congé querellé et accordé au locataire une unique prolongation de son bail jusqu'au 31 mars 2009.
Saisi par le locataire, le Tribunal des baux et loyers du canton de Genève, par jugement du 17 février 2009, a déclaré valable le congé daté du 22 mai 2006 et a accordé au locataire une unique prolongation de son bail jusqu'au 31 mars 2009.
Par arrêt du 15 mars 2010, la Chambre d'appel en matière de baux et loyers du canton de Genève a rejeté l'appel formé contre ce jugement par X._, avec suite de frais. La cour cantonale a retenu que Y._, à l'époque de la résiliation, ne disposait que d'1/12ème de copropriété et qu'il s'était opposé à la résiliation parce qu'il n'était pas d'accord sur l'emplacement de l'ascenseur et surtout qu'il pensait qu'il était inopportun de se lancer dans ces travaux alors qu'il existait des divergences entre les copropriétaires; la majorité requise par l'<ref-law> a été atteinte. Devenu seul propriétaire, Y._ a mandaté un architecte pour réaliser les travaux; le 22 avril 2008, le Département des constructions lui a délivré l'autorisation de construire l'ascenseur projeté. Par décision du 28 août 2008, la Commission cantonale de recours a rejeté le recours formé contre cette décision par X._; rien ne permet de mettre en doute la volonté de Y._ de réaliser les travaux, étant précisé que l'absence de locataires (d'autres locataires ont aussi reçu le congé) est de nature à faciliter la réalisation des travaux. La cour cantonale a déduit de ces circonstances que le congé était valablement donné puisqu'il n'avait pas un caractère abusif. Elle a admis que le congé avait des conséquences pénibles pour le locataire, qui est établi dans l'immeuble depuis 1958, étant précisé qu'une étude de notaires existe dans ce bâtiment depuis une centaine d'années. Le locataire devra cependant tôt ou tard quitter les lieux et, compte tenu du fait que le marché des locaux commerciaux n'est pas en proie à la pénurie qui sévit dans le domaine du logement, la cour cantonale a estimé que l'unique prolongation accordée était adéquate.
C. Ayant reçu cet arrêt le 18 mars 2010, X._ a déposé dans un bureau de poste suisse, le 23 avril 2010, un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Soutenant que le congé ne répond à aucun intérêt, qu'il n'a pas de cause, qu'il a été donné de mauvaise foi et qu'il y a eu violation de l'art. 29 Cst., le recourant conclut à l'annulation de la décision attaquée et à ce que le congé soit déclaré nul, subsidiairement à ce que la cause soit renvoyée à la cour cantonale, avec suite de dépens. Sa requête d'effet suspensif a été rejetée par ordonnance présidentielle du 25 mai 2010.
L'intimé a conclu, sous suite de frais et dépens, à l'irrecevabilité du recours constitutionnel subsidiaire (subsidiairement à son rejet) et au rejet du recours en matière civile.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions en annulation du congé (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de droit du bail (<ref-law>; <ref-ruling> consid. 1 p. 149; <ref-ruling> consid. 1 p. 386; art. 271a al. 1 let. e CO), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. a, 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 al. 1 et 2 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé notamment pour violation d'un droit constitutionnel (<ref-ruling> consid. 1.4 p. 674; <ref-ruling> consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 2.2.1 p. 389). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire : <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peuvent être présentés, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le tribunal ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
1.5 Dès lors que le recours en matière civile est ainsi recevable, il en découle nécessairement que le recours constitutionnel, qui est subsidiaire, est irrecevable (<ref-law>). L'erreur du recourant reste sans conséquence, puisque son grief constitutionnel peut être examiné dans le cadre du recours en matière civile (cf. <ref-ruling> consid. 3.1 p. 399).
2. 2.1 Le recourant invoque une violation du droit d'être entendu, garanti par l'art. 29 al. 2 Cst., sous l'angle du droit à la preuve.
Il est exact que l'on a déduit du droit d'être entendu, notamment, le droit pour le justiciable de fournir des preuves quant aux faits de nature à influer sur le sort de la décision (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 5.1 p. 293; <ref-ruling> consid. 2.2 p. 504 s.). Cependant, comme le recourant invoque une prétention de droit privé fédéral, le droit à la preuve est régi de manière spéciale par l'<ref-law>, ce qui exclut l'application de l'art. 29 al. 2 Cst. (arrêt 5A_141/2007 du 21 décembre 2007 consid. 2.2). De surcroît, s'agissant d'un litige en matière de bail à loyer, l'établissement des faits est régi par une disposition spécifique, à savoir l'<ref-law>. C'est donc à tort que le recourant se réfère à l'art. 29 al. 2 Cst.
Quoi qu'il en soit, le droit à la preuve ne peut être violé que si l'offre de preuve a été présentée en temps utile et dans les formes requises par la loi de procédure applicable et qu'il s'agisse de prouver un fait pertinent, non encore établi, par une mesure probatoire adéquate, propre à apporter la preuve (<ref-ruling> consid. 2.6 p. 24; <ref-ruling> consid. 4b p. 268 s.). Le droit à la preuve n'exclut pas que le juge puisse refuser une mesure probatoire à la suite d'une appréciation anticipée des preuves, étant parvenu à la conclusion que l'administration de la preuve sollicitée ne pourrait plus modifier sa conviction (<ref-ruling> consid. 2.6 p. 25; <ref-ruling> consid. 5b p. 101).
Le recourant aurait voulu que l'autorité cantonale entende des témoins en vue d'élucider de quelle manière a été prise la décision des copropriétaires de résilier son bail. Dès lors qu'il ne conteste pas que les copropriétaires ont réuni la majorité requise par l'<ref-law>, la question de savoir quels ont été, individuellement, la motivation et le vote de chacun ne regarde pas le recourant; il s'agit d'une question sans pertinence pour l'issue du litige, ce qui justifie le refus de la mesure probatoire.
Le recourant aurait voulu que l'autorité cantonale entende des témoins pour déterminer si les travaux projetés correspondaient à une intention réelle. La cour cantonale a retenu - sans que le recourant n'invoque l'arbitraire à ce sujet - que l'intimé avait mandaté un architecte pour réaliser les travaux, qu'il avait obtenu l'autorisation administrative nécessaire et qu'aucun indice ne permettait de douter de son intention. La cour cantonale est ainsi parvenue à une conviction sur la base d'une appréciation anticipée des preuves, ce qui justifie - sans violer le droit à la preuve - le refus d'administrer d'autres mesures probatoires sur un fait qu'elle tenait déjà, sans arbitraire, pour établi.
Le recourant aurait voulu que l'on entende des témoins en vue de démontrer l'importance, pour un notaire, du lieu de situation de son étude, étant précisé qu'il existe un cabinet de notaires dans cet immeuble depuis un siècle. La cour cantonale a cependant clairement relevé que le recourant alléguait qu'il y avait une étude de notaires dans cet immeuble depuis une centaine d'années et que lui-même y était établi depuis 1958. Il n'y avait pas à ordonner d'autres mesures probatoires sur des faits que la cour cantonale tenait pour déjà établis dans la mesure où ils sont pertinents. L'importance de l'emplacement n'a pas été mise en doute. Ainsi, sur la base de l'argumentation présentée (<ref-law>), il n'y a pas trace d'une violation des art. 29 Cst. ou 6 CEDH. En examinant la question d'office (<ref-law>), on ne discerne pas non plus une violation de l'<ref-law>, qui était en réalité la disposition applicable.
2.2 Avec une argumentation juridique extrêmement confuse, le recourant semble reprocher à l'intimé d'avoir adopté une attitude contradictoire, ce qui pourrait donner lieu à un abus de droit (<ref-law>; <ref-ruling> consid. 4.1 p. 76).
Pour qu'un abus de droit puisse être envisagé, il faudrait tout d'abord que l'intimé ait manifesté à l'endroit du recourant son opposition à la résiliation et que celui-ci ait pu en déduire quelques assurances (<ref-ruling> consid. 4.1 p. 76). Or, il n'est pas établi, ni même allégué, que l'intimé aurait fait part de son opposition au recourant. Cela suffit déjà à clore la discussion. De surcroît, l'argumentation présentée repose sur une déformation manifeste des faits retenus par la cour cantonale, qui lient le Tribunal fédéral (<ref-law>). Il a été retenu, sur la base des déclarations de l'intimé, que celui-ci s'était opposé à la résiliation à l'époque parce qu'il considérait qu'il n'était pas opportun de se lancer dans ces travaux alors qu'il existait des divergences entre les copropriétaires et qu'il n'était pas entièrement d'accord sur l'emplacement de l'ascenseur. Devenu seul propriétaire, il s'est trouvé évidemment dans une situation différente où il n'existait plus de divergences entre les copropriétaires et où il pouvait décider seul des travaux à entreprendre. On peut dès lors comprendre qu'il ait changé d'opinion, sans que cela ne constitue une attitude contradictoire qui serait contraire à la bonne foi.
Quoi qu'il en soit, la situation juridique n'est pas du tout la même que celle présentée par le recourant.
Au moment de la résiliation, l'immeuble appartenait à plusieurs copropriétaires, qui étaient les bailleurs à l'égard du recourant. Selon l'<ref-law>, une décision prise à la majorité de tous les copropriétaires représentant en outre, leurs parts réunies, plus de la moitié de la chose, est nécessaire pour la résiliation d'un bail à loyer. Il a été constaté et il n'est pas contesté que cette majorité a été réunie. La décision de résilier le bail a donc été valablement prise.
Elle a été ensuite communiquée aux locataires sur la formule officielle requise, à peine de nullité (<ref-law>), par l'<ref-law>. Que la formule ait été remplie par le gérant de l'immeuble, en tant que représentant, n'affecte pas sa validité (DAVID LACHAT, in Commentaire romand, Code des obligations I, 2003, n° 3 ad <ref-law>).
La résiliation du bail est un acte formateur (<ref-ruling> consid. 3d p. 129; <ref-ruling> consid. 3a p. 120). En tant qu'il s'agit de l'exercice d'un droit formateur, la résiliation revêt un caractère univoque, inconditionnel et irrévocable (<ref-ruling> consid. 3.3 p. 444). Après sa réception (cf. <ref-law>), la résiliation ne peut plus être révoquée, mais les parties pourraient conclure un nouveau contrat (PETER HIGI, Commentaire zurichois, nos 44 à 46 ad Vorbemerkungen zu Art. 266 - 266o CO; DAVID LACHAT, op. cit., n° 6 ad <ref-law>; ROGER WEBER, in Commentaire bâlois, 4e éd., 2007, n° 1 ad <ref-law>).
Lorsque l'intimé est devenu seul propriétaire de l'immeuble, il est devenu par là même le bailleur. En effet, selon l'<ref-law>, le bail passe au nouveau propriétaire, et cela quelle que soit la cause du transfert (PETER HIGI, Commentaire zurichois, n° 11 ad art. 261 - 261a CO; LACHAT, op. cit., nos 1 et 2 ad <ref-law>). Le bail, lui, a été transféré tel qu'il était, c'est-à-dire en tant que bail résilié (HIGI, op. cit., n° 23 ad art. 261 - 261a CO).
Ainsi, contrairement à ce que pense le recourant, l'intimé, devenu seul propriétaire et bailleur, ne pouvait pas révoquer le congé qui avait été donné. Les parties auraient pu convenir d'un nouveau bail, mais cette hypothèse ne s'est pas réalisée.
Il a été constaté - d'une manière qui lie le Tribunal fédéral (<ref-law>) - que le bailleur a l'intention d'entreprendre d'importants travaux dans l'immeuble, notamment d'y installer un ascenseur, et que ces travaux pourront se dérouler plus facilement sans la présence du locataire. Dans de telles circonstances, on ne saurait dire, comme le soutient de manière peu compréhensible le recourant, qu'il n'y aurait pas d'intérêt à agir ou que la résiliation serait dépourvue de cause.
2.3 Il faut ensuite se demander si le congé devrait être annulé pour le motif qu'il contrevient aux règles de la bonne foi (<ref-law>). Selon la jurisprudence, un congé contrevient aux règles de la bonne foi s'il ne repose sur aucun intérêt objectif, sérieux et digne de protection (<ref-ruling> consid. 4.1 p. 119).
En l'espèce, il a été retenu que le bailleur voulait rénover l'immeuble, en particulier y installer un ascenseur qui empiète sur les locaux loués, de sorte que le contrat, tel qu'il a été conclu, ne peut de toute manière pas être maintenu; que le locataire libère les lieux est de nature à éviter les complications et à favoriser une exécution rapide des travaux. Ces constatations de fait lient le Tribunal fédéral (<ref-law>). Lorsque le recourant fait valoir que les travaux n'ont pas encore commencé - ce qui s'explique sans difficulté par sa seule présence -, il faut relever qu'il invoque un fait nouveau, ce qui n'est pas admissible (<ref-law>).
La jurisprudence a déjà eu l'occasion d'admettre qu'un congé n'est pas abusif lorsqu'il est donné en vue d'exécuter des travaux importants et que le maintien du locataire sur place est susceptible d'entraîner des retards ou des complications dans leur déroulement (<ref-ruling> consid. 4.2 p. 120 s.; arrêt 4A_414/2009 du 9 décembre 2009 consid. 3.1 et 3.2).
Ces conditions sont remplies en l'espèce. On ne peut pas considérer comme contraire à la bonne foi qu'un propriétaire veuille adapter son immeuble aux exigences du confort moderne et, par là même, le valoriser; il est par ailleurs indéniable que la création d'un ascenseur, impliquant une modification des surfaces, se réalise plus facilement si le locataire a quitté les lieux. La cour cantonale n'a donc pas violé l'<ref-law> en considérant en l'espèce que le congé n'était pas abusif et qu'il ne devait donc pas être annulé.
2.4 Il reste la question de la prolongation du bail (<ref-law>). Tenant compte des conséquences pénibles de la résiliation pour le locataire, la cour cantonale lui a accordé une prolongation du bail, ce qui n'est pas litigieux.
La durée de la prolongation (<ref-law>) est une question d'appréciation. La cour cantonale, après avoir relevé que le recourant devait de toute manière quitter les lieux, a observé qu'il n'y avait pas de pénurie pour les locaux commerciaux dans le canton de Genève, ce qui relève des constatations de faits (<ref-law>). Tenant compte de ces paramètres, elle a estimé que la prolongation accordée était adéquate et on ne voit pas qu'elle ait ainsi abusé de son pouvoir d'appréciation. Le recourant ne tente d'ailleurs pas de le démontrer.
Le recourant insiste sur le fait qu'il y ait une étude de notaires dans ce bâtiment depuis un siècle et que lui-même y est installé depuis 1958. Il fait valoir que l'emplacement d'une étude, lorsqu'il est connu, est un élément très important pour la clientèle. Cet argument ne permet cependant pas au recourant de s'opposer à l'obligation de quitter les lieux à fin de bail. Dans un arrêt récent destiné à la publication (arrêt 4A_557/2009 du 23 mars 2010 consid. 3 et 5), le Tribunal fédéral a examiné le cas d'un restaurant établi depuis une centaine d'années au même endroit; il a rappelé que l'ancienneté d'une activité ne permettait pas au locataire actuel d'exiger de se maintenir indéfiniment dans les locaux. Les droits du locataire s'éteignent à l'expiration du bail et il appartient au propriétaire de décider, au-delà de cette échéance, de la destination de son bien.
En l'absence de toute violation du droit fédéral, le recours doit être rejeté.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimé une indemnité de 5'000 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 1er juillet 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin