Faits:
A. Le 15 août 1996, W._ (le bailleur) a loué un terrain à Y._ (le locataire) à compter du 1er septembre 1996, pour un loyer annuel de 60'000 fr. L'art. 3 du contrat prévoyait que "la location a pour but la mise à disposition en faveur du locataire du terrain nécessaire à l'exploitation de son entreprise (...)" et qu'"une construction légère, démontable (container-bureau) pourra être établie sur le bien-fonds loué". Par ailleurs, l'art. 4 al. 1 de l'accord disposait que "le terrain est remis dans son état actuel" (al. 1); l'art. 1 al. 2 précisait à cet égard que "ce terrain est bien connu du locataire qui n'en demande pas de plus ample désignation, renonçant d'ores et déjà à toute réclamation ultérieure, tant sur sa contenance que sur sa disposition"; l'art. 4 al. 1 se poursuivait de la manière suivante: "le locataire supportera tous les frais d'aménagement futurs éventuels (nivellement, remblais, clôture, etc.)".
Préalablement à la signature du contrat de bail, le locataire avait entrepris de nombreuses démarches, en vue notamment de l'aménagement et de l'équipement de la parcelle. C'est ainsi que le 23 mai 1996, il avait déposé à l'autorité compétente une demande d'autorisation de construire ayant pour objet la réalisation de clôture, portail, bureaux préfabriqués modulaires. L'organisme devenu X._ avait reçu copie de ladite demande et l'avait préavisée favorablement le 11 juillet 1996; l'autorisation de construire a été délivrée le 6 novembre 1996; dans le cadre des pourparlers précontractuels, le locataire avait indiqué qu'il envisageait d'effectuer les travaux d'équipement de la chose louée en deux étapes, la première selon la demande du 23 mai 1996 et la seconde par la construction d'un bâtiment "d'une certaine importance". Celui-ci n'a finalement pas procédé à la réalisation des bureaux préfabriqués modulaires visés dans l'autorisation de construire, en raison de leur prix trop élevé, allégué à 250'000 fr. Les autres travaux ont en revanche été exécutés par le locataire, pour un montant qui s'élèverait à 873'112 fr., selon expertise privée réalisée par un architecte mandaté par celui-ci.
En raison d'un défaut de paiement du loyer, le bailleur a résilié le contrat de bail pour le 31 juillet 1999. Le locataire a libéré la chose louée le 8 juin 2000.
B. Le locataire a contesté le congé et manifesté la volonté de compenser les arriérés de loyer avec le montant des travaux effectués sur le bien-fonds, soit 873'112 fr.; à titre subsidiaire, il a conclu reconventionnellement au paiement de ladite somme par le bailleur; celui-ci a pour sa part requis l'évacuation du locataire. Par jugement du 13 janvier 2000, le Tribunal des baux et loyers du canton de Genève a admis la validité du congé et prononcé l'évacuation du locataire. S'agissant de la demande en paiement du locataire - objet de la présente procédure -, le bailleur a conclu à la forme à l'irrecevabilité faute d'allégations suffisantes; au fond, sur demande principale, il a proposé le déboutement du locataire de toutes ses conclusions et, sur demande reconventionnelle, la condamnation de celui-ci à lui verser les sommes de 105'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 1999 et de 25'000 fr. - montant ultérieurement porté à 30'000 fr. -, pour les arriérés de loyers et indemnités pour occupation illicite.
Par jugement du 29 mai 2008, le Tribunal des baux et loyers du canton de Genève a débouté le locataire de toutes ses conclusions et condamné celui-ci à payer à W._ les sommes de 105'000 fr. et 30'000 fr. avec intérêt à 5 % l'an dès le 1er janvier 1999, respectivement 1er mai 2000. Pour l'essentiel, il a considéré que l'instruction du dossier n'avait pas permis d'établir que le bailleur aurait autorisé le locataire à effectuer l'ensemble des travaux visés par l'expertise privée pour un montant de 873'112 fr., mais uniquement le terrassement de la surface, l'installation d'une clôture et d'un portail, ainsi que la pose de bureaux préfabriqués modulaires; il a ensuite retenu que le coût des seuls travaux autorisés n'avait pas été prouvé par le locataire, alors même qu'une telle preuve aurait dû être possible, et que cette lacune devait être retenue contre lui, le fardeau de la preuve lui incombant; il a enfin jugé que, de toute manière, le caractère considérable de la plus-value apportée par les travaux autorisés faisait également défaut et qu'il ne fallait pas perdre de vue que le bail avait pris fin prématurément en raison d'un défaut de paiement du locataire, de sorte qu'il était seul responsable du fait de ne pas avoir pu suffisamment amortir les travaux qu'il avait réalisés.
Saisie par le locataire et statuant par arrêt du 15 juin 2009, la Chambre d'appel en matière de baux et loyers du canton de Genève a annulé le jugement du 29 mai 2008 et renvoyé la cause au Tribunal pour qu'il soit procédé à une expertise visant à déterminer la plus-value apportée par le locataire à la chose louée et la durée d'amortissement des travaux effectués par celui-ci et qu'une nouvelle décision soit rendue dans le sens des considérants. En substance, elle a considéré que l'art. 4 du contrat de bail n'était pas nul au sens de l'art. 256 al. 2 CO, le terrain loué n'étant pas un local commercial; il ne pouvait être admis que la formulation de l'art. 4 du contrat englobait la renonciation, par le locataire, à l'indemnité visée par l'art. 260a al. 3 CO, car il ne traitait indiscutablement que de la question de la prise en charge des travaux au moment où ceux-ci sont effectués (in casu par le locataire à ses frais), à l'exclusion de celle du remboursement de la part non amortie desdits travaux en fin de bail; des trois conditions de l'art. 260a al. 3 CO, les deux premières étaient manifestement remplies: d'une part, le locataire avait procédé à des travaux de rénovation ou de modification de la chose louée et, d'autre part, ces travaux avaient apporté à celle-ci une plus-value considérable au sens de la loi; quant à la troisième condition, il convenait d'admettre que le bailleur avait donné son accord à la réalisation des travaux: il ressortait sans conteste du dossier que celui-ci avait été informé à plusieurs reprises des travaux que le locataire souhaitait entreprendre et avait eu connaissance des autorisations qui avaient été sollicitées; des représentants du bailleur avaient eu l'occasion de rencontrer le locataire et son architecte pour évoquer ces travaux; il était en outre fait mention dans le contrat de bail de la réalisation future des travaux sur la chose louée; rien ne permettait de penser que l'octroi d'une indemnité fondée sur l'art. 260a al. 3 CO heurterait les principes de la bonne foi et de l'interdiction de l'abus de droit et il ne se justifiait notamment pas de refuser toute indemnité au locataire pour le seul motif qu'il avait provoqué lui-même la fin du bail; les nombreuses pièces versées au dossier de même que les témoignages recueillis par le Tribunal ne permettaient pas de déterminer la plus-value résiduelle au 8 juin 2000; notamment, une grande partie des travaux avait été effectuée par le locataire ou ses amis, sans rémunération, de sorte que les factures produites étaient sans commune mesure avec le montant total allégué par le locataire; quand bien même ce dernier montant pourrait être établi, cela ne permettrait pas encore d'estimer la plus-value que représentaient ces travaux, tant il était vrai qu'il ne se justifiait pas de faire profiter au bailleur des travaux obtenus gratuitement par le locataire, ni de mettre à la charge du bailleur des travaux payés à un prix exagéré; en définitive, il convenait en premier lieu de déterminer la plus-value qui subsistait au 8 juin 2000, puis d'examiner s'il se justifiait d'arrêter le montant de l'indemnité à celui de cette plus-value résiduelle, ou s'il y avait lieu de tenir compte de l'un des critères évoqués par le Tribunal fédéral en la matière (arrêts 4C.18/2006 du 29 mars 2006 consid. 3.1; 4C.97/2005 du 18 août 2005 consid. 2.4); compte tenu des particularités du cas d'espèce, seule une expertise était en mesure d'établir de manière suffisamment fiable la plus-value apportée à la chose louée par le locataire, ainsi que la durée de l'amortissement de celle-ci.
C. Le bailleur (le recourant) a formé un recours en matière civile au Tribunal fédéral, concluant à l'annulation de l'arrêt du 15 juin 2009, au déboutement de son adverse partie de ses conclusions et à la confirmation du jugement du 29 mai 2008, avec suite de dépens; il a également requis l'effet suspensif au recours, qui a été accordé par ordonnance présidentielle du 22 septembre 2009. Le locataire (l'intimé) a proposé l'irrecevabilité, subsidiairement le rejet du recours, sous suite de dépens.
Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 135 III 1 consid. 1.1, 329 consid. 1).
1.1 L'arrêt attaqué, qui renvoie la cause à l'autorité inférieure pour complément d'instruction et nouvelle décision - certes dans le sens des considérants mais néanmoins avec marge de manoeuvre -, est une décision incidente (cf. ATF 134 II 124 consid. 1.3 p. 127; 133 V 477 consid. 4.2 p. 481 s.) notifiée séparément qui ne porte ni sur la compétence ni sur une demande de récusation (cf. art. 92 LTF). Elle ne peut dès lors faire l'objet d'un recours que si elle est susceptible de causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF); à défaut, elle pourra seulement être attaquée par un recours contre la décision finale dans la mesure où elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF). Cette réglementation est fondée sur des motifs d'économie de la procédure: en tant que cour suprême, le Tribunal fédéral ne devrait en principe connaître qu'une seule fois de la même affaire, à la fin de la procédure (ATF 134 III 188 consid. 2.2; 134 IV 43 consid. 2.1 p. 45); ainsi, l'ouverture du recours immédiat constitue une exception et doit être interprétée de manière restrictive (cf. ATF 133 IV 288 consid. 3.2).
1.2 Pour ce qui est de l'application de l'art. 93 al. 1 let. a LTF, un préjudice ne peut être qualifié d'irréparable que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral; en revanche, un dommage de pur fait, tel que la prolongation de la procédure ou un accroissement des frais de celle-ci, n'est pas considéré comme un dommage irréparable de ce point de vue (ATF 135 II 30 consid. 1.3.4 p. 36; 134 III 188 consid. 2.1 p. 190 et consid. 2.2).
Selon la jurisprudence, les décisions de renvoi n'occasionnent en principe pas de préjudice juridique irréparable (ATF 122 I 39 consid. 1a/bb p. 42; 117 Ia 396 consid. 1 p. 398 s.), ce que le recourant admet d'ailleurs expressément dans son écriture. Pour le surplus, le fait qu'il soit ordonné une expertise ne cause pas davantage de dommage irréparable, puisqu'il est normalement possible, en recourant contre la décision finale, d'obtenir que la preuve administrée - par hypothèse - à tort soit écartée du dossier (Corboz, in Commentaire de la LTF, n° 17 ad art. 93 LTF p. 904).
1.3 L'art. 93 al. 1 let. b LTF ouvre en outre la voie du recours immédiat si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse. La première des deux conditions - cumulatives - est réalisée si le Tribunal fédéral peut mettre fin une fois pour toutes à la procédure en jugeant différemment la question tranchée dans la décision préjudicielle ou incidente (ATF 133 III 629 consid. 2.4.1). Quant à la seconde condition, il appartient au recourant d'établir qu'une décision finale immédiate permettrait d'éviter une procédure probatoire longue et coûteuse, si cela n'est pas manifeste; il doit en particulier indiquer de manière détaillée quelles questions de fait sont encore litigieuses, quelles preuves - déjà offertes ou requises - devraient encore être administrées et en quoi celles-ci entraîneraient une procédure probatoire longue et coûteuse (ATF 133 III 629 consid. 2.4.2 p. 633; 133 IV 288 consid. 3.2).
1.3.1 S'agissant de la première condition d'application de l'art. 93 al. 1 let. b LTF, il n'est pas possible de mettre fin de façon immédiate à la procédure si le Tribunal fédéral, dans l'hypothèse où il admettrait le recours, ne pourrait que renvoyer la cause à une autorité précédente, notamment parce qu'il faut administrer de nouvelles preuves, compléter l'état de fait en appréciant les preuves déjà apportées ou exercer un pouvoir d'appréciation sous un jour nouveau; si seule cette issue est envisageable, il n'est pas possible de provoquer immédiatement une décision finale (cf. ATF 122 III 254 consid. 2a p. 255 s.; Corboz, op. cit., n° 24 ad art. 93 LTF).
En l'espèce, le recourant reproche en particulier aux juges cantonaux d'avoir considéré que l'intimé n'avait pas renoncé au principe d'une indemnité pour plus-value et que lui-même avait accepté tous les travaux; il soutient qu'en cas d'admission de son recours, l'arrêt du Tribunal fédéral mettrait fin à la procédure, en constatant que l'intimé avait renoncé à l'indemnité, voire en considérant qu'il avait donné son autorisation pour des installations d'un montant de 110'000 fr. seulement. Si le bien-fondé du premier grief du recourant devait être reconnu, l'intimé devrait être débouté de ses prétentions sans que des mesures d'instructions supplémentaires se justifient et la Cour de céans serait ainsi susceptible de rendre une décision finale; il y a dès lors lieu d'admettre que la première des deux conditions d'application de l'art. 93 al. 1 let. b LTF est réalisée, sans qu'il soit nécessaire d'examiner plus avant si le Tribunal fédéral pourrait également rendre une décision dans la deuxième hypothèse soulevée par le recourant, ce qui semble toutefois de prime abord plus douteux.
1.3.2 Sous l'angle de la deuxième condition d'application de l'art. 93 al. 1 let. b LTF, tout renvoi pour complément d'instruction entraîne nécessairement des frais et un prolongement de la procédure; cela ne suffit toutefois pas pour ouvrir la voie d'un recours immédiat. Pour que la condition légale soit remplie, il faut que la procédure probatoire, par sa durée et son coût, s'écarte notablement des procès habituels; un recours immédiat pourrait être justifié s'il faut envisager une expertise complexe ou plusieurs expertises (cf. Corboz, op. cit., n° 34 ad art. 93 LTF). A cet égard, il a en particulier été jugé que même une expertise aux Etats-Unis destinée à évaluer des tapis endommagés ne constituait pas nécessairement une mesure longue et coûteuse (cf. arrêt 4C.438/1995 du 10 avril 1996 consid. 2c non publié aux ATF 122 III 254) et qu'une expertise des frais de chauffage ne semblait de prime abord pas être d'une complexité particulière (cf. arrêt 4A_195/2009 du 16 juin 2009 consid. 1); il a en revanche été décidé que se prononcer sur les éventuels défauts d'un appareil notoirement complexe - à savoir un appareil de développement et de tirage professionnel de photos - nécessitait une expertise vraisemblablement longue et coûteuse (cf. arrêt 4C.413/1993 du 25 avril 1995 consid. 1).
En l'occurrence, le recourant soutient que l'expertise à exécuter, destinée à déterminer la plus-value apportée au terrain, serait une mesure probatoire "à l'évidence longue et coûteuse"; à ce propos, il relève que l'intimé n'est plus en mesure de fournir les factures et autres pièces attestant du montant de 873'112 fr. et que le montant de la plus-value devra être estimé au jour de la cessation de bail, en 2000. Les éléments avancés par le recourant ne permettent pas de se convaincre du fait que l'expertise en cause sera particulièrement longue et coûteuse, au point de justifier la recevabilité exceptionnelle d'un recours immédiat au Tribunal fédéral; en particulier, il apparaît pour le moins paradoxal de soutenir d'une part que l'expertise sera complexe, tout en reprochant d'autre part - au fond - à la cour cantonale d'avoir violé le droit cantonal en ordonnant une expertise, au motif que les questions qui se posaient ne seraient pas techniques; par ailleurs, l'on ne voit pas que la prétendue absence de pièces soit de nature à rallonger la mission de l'expert, qui serait ainsi appelé à estimer la plus-value et la durée de l'amortissement des travaux selon son expérience, sans avoir à consulter de nombreux documents; enfin, l'intimé souligne que l'expert pourrait le cas échéant s'appuyer sur l'expertise privée réalisée à sa demande. En définitive, force est de constater que la seconde des deux conditions cumulatives d'application de l'art. 93 al. 1 let. b LTF n'est pas remplie.
1.4 Il résulte des considérants qui précèdent que le recours est irrecevable, aucune des hypothèses prévues par l'art. 93 LTF n'étant réalisée.
2. Compte tenu de l'issue du litige, les frais judiciaires et dépens de l'intimé sont mis à la charge du recourant, qui succombe (art. 66 al. 1 ainsi qu'art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 8'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 9'000 fr., à payer à l'intimé à titre de dépens, est mise à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 20 octobre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz