Faits:
A. Par contrat de bail à loyer du 8 janvier 1973, A._, alors propriétaire, a loué à H.Y._, un appartement dans un immeuble à Genève. Ce contrat a été conclu pour une durée initiale de 5 ans, commençant à courir le 1er mars 1973 pour se terminer le 28 février 1978. Comportant une clause de reconduction tacite d'année en année après son échéance initiale, il est poursuivi dès le 1er mars 1979, aucune des parties ne l'ayant dénoncé. Le loyer mensuel a été fixé à 750 fr. par mois. Il a cependant été augmenté régulièrement pour s'établir, en dernier lieu à 1'680 fr., charges non comprises.
F.Y._ était l'épouse de H.Y._, décédé le 27 novembre 1997. Au décès de ce dernier, le bail a passé à F.Y._.
Le 29 février 2004, F.Y._ et X._, lequel avait hérité le logement de sa grand-mère A._ décédée au début des années 2000, ont signé formellement un avenant au bail disposant que la première est locataire et que le second est lié en qualité de bailleur.
Par avis de résiliation du 6 juin 2005, le bailleur a résilié le bail pour le 28 février 2006, au motif qu'il entendait récupérer l'appartement pour s'établir à Genève avec son épouse et ses trois enfants.
L'instruction a montré que, fin septembre 2005, le bailleur, alors employé à Singapour, s'est installé en Inde où il a débuté un nouvel emploi le 3 octobre 2005 pour une durée de 3 ans. Le bailleur a allégué avoir renoncé à un emploi à Genève en raison du fait qu'il ne disposait d'aucun logement dans cette ville. Les témoins cités par le bailleur ont reconnu que celui-ci ne leur avait fait part de son intention de s'établir à Genève qu'après l'engagement de la procédure et ajouté qu'il ne s'agissait là que d'une possibilité parmi d'autres, puisque le bailleur envisageait également de travailler à Londres ou à Paris.
B. Le 21 juin 2005, la locataire a saisi la Commission de conciliation en matière de baux et loyers, concluant principalement à l'annulation du congé et subsidiairement à une prolongation de bail. Elle soutient en substance que le congé n'est qu'un prétexte et que le besoin du bailleur n'est pas établi.
Par décision du 26 mars 2006, la Commission de conciliation a admis la validité du congé, mais accordé une première prolongation de bail jusqu'au 28 février 2008.
La locataire a saisi le Tribunal des baux et loyers du canton de Genève, concluant principalement à l'annulation de la résiliation de son bail et, subsidiairement, à l'octroi d'une prolongation d'une durée de 4 ans.
Lors de son inspection locale du 29 mars 2007, le Tribunal des baux et loyers a constaté que la réfection du logement avait été effectuée il y a une quarantaine d'années, en grande partie à la charge des locataires. Il a en outre remarqué que certains travaux d'aménagement avaient été exécutés par ces derniers qui, en plus, avaient installé un meuble sur mesure dans l'une des pièces du logement.
La locataire a expliqué devant le Tribunal des baux et loyers qu'elle était âgée de 73 ans, qu'elle occupe son logement depuis 20 ans, qu'elle a entretenu et aménagé à ses frais, et qu'elle est très attachée au quartier où elle a toutes ses habitudes, ses amis et ses repères.
Le bailleur conclut au rejet des conclusions de la locataire.
Par jugement du 13 mars 2008, le Tribunal des baux et loyers a annulé la résiliation de bail litigieuse. Il a estimé qu'au jour de la résiliation du bail, le motif du congé n'était pas réel, le comportement du bailleur démontrant qu'il n'avait pas l'intention, alors, de s'établir à Genève.
Saisie d'un appel du bailleur, la Chambre d'appel en matière de baux et loyers du canton de Genève a confirmé ce jugement par arrêt du 3 novembre 2008.
C. Le bailleur a déposé un recours en matière civile auprès du Tribunal fédéral contre l'arrêt du 3 novembre 2008. Il reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans la constatation et l'appréciation des faits et des preuves, de ne pas avoir appliqué correctement les règles sur le fardeau de la preuve (<ref-law>) et d'avoir violé l'<ref-law>. Le recourant conclut à l'annulation de la décision attaquée et invite le Tribunal fédéral à constater la validité du congé contesté.
L'intimée a conclu principalement au rejet du recours et, subsidiairement, à l'octroi d'une prolongation de bail de 4 ans.

Considérant en droit:
1. 1.1 La valeur litigieuse est déterminée, en cas de recours contre une décision finale, par les conclusions restées litigieuses devant l'autorité précédente (<ref-law>). En l'espèce, la conclusion principale prise devant la Chambre d'appel portait sur l'annulation du congé. En raison du délai de protection prévu par l'art. 271a al. 1 let. e CO, la valeur litigieuse, en cas de contestation d'un congé, s'élève au moins à trois ans de loyer (arrêt 4C.155/2000 du 30 août 2000 consid. 1a publié in SJ 2001 I p. 17; <ref-ruling> consid. 1 p. 149; <ref-ruling> consid. 1 p. 386). Il en résulte que la valeur litigieuse minimale de 15'000 fr. requise en matière de droit du bail (<ref-law>) est ici atteinte.
1.2 Interjeté par la partie qui a succombé dans ses conclusions en validation du congé (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 45 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.1 p. 105). Il ne peut pas entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal si le grief n'a pas été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 4.3 p. 62 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (cf. <ref-ruling> consid. 1.4 p. 140). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. En l'espèce, le recourant invoque à deux égards une constatation arbitraire des faits.
Selon la jurisprudence, une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat, ce qu'il appartient au recourant de démontrer en vertu de l'<ref-law> (134 I 263 consid. 3.1 p. 265 s.; <ref-ruling> consid. 3.1 p. 153). Dans la mesure où l'arbitraire est invoqué en relation avec l'établissement des faits, il faut rappeler que le juge dispose d'un large pouvoir d'appréciation lorsqu'il apprécie les preuves (<ref-ruling> consid. 4b p. 40). Le recourant doit ainsi expliquer dans quelle mesure le juge a abusé de son pouvoir d'appréciation et, plus particulièrement, montrer qu'il a omis, sans aucune raison sérieuse, de prendre en compte un élément de preuve propre à modifier la décision attaquée, qu'il s'est manifestement trompé sur son sens et sa portée ou encore que, en se fondant sur les éléments recueillis, il en a tiré des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9).
2.1 Premièrement, le recourant se plaint que la cour cantonale n'a pas mentionné la lettre de V._, qui est son employeur depuis le 3 octobre 2005, selon laquelle il a émis le désir d'être muté à Genève et a reçu le soutien de sa direction en ce sens.
Le contenu de ce courrier ne modifie en rien la constatation effectuée par la cour cantonale, d'après laquelle le recourant n'avait effectivement pas d'emploi à Genève au moment de la résiliation du bail. Il ne permet pas non plus de retenir que le recourant aurait dû renoncer à un emploi dans cette ville. D'ailleurs, on soulignera que cette attestation date du 16 février 2007, soit plus de 20 mois après l'envoi de la résiliation, alors que les parties étaient opposées depuis une durée équivalente dans le cadre de la procédure. Au surplus, l'attestation en question ne permet nullement de savoir si son signataire, B._ "Head of Business Transformation Unit", avait effectivement la compétence de soutenir l'éventuelle demande de mutation du recourant. Ainsi, le contenu de ce courrier n'oblige pas à effectuer une lecture des faits différente de celle entreprise par la cour cantonale. Le grief d'arbitraire est dénué de fondement.
2.2 Deuxièmement, le recourant reproche à la cour cantonale de ne pas avoir suffisamment tenu compte des multiples propositions de relogement adressées par le recourant à l'intimée.
La validité d'un congé n'est pas déterminée en procédant à la simple pesée des intérêts du bailleur (intérêt à disposer du logement pour lui-même ou ses proches) et de la locataire (intérêt à demeurer dans l'appartement). La comparaison entre les conséquences pénibles de la fin du contrat pour le locataire et le besoin du bailleur ou celui de ses proches parents d'utiliser les locaux n'a lieu d'être - sous réserve d'un examen dans la perspective bien spécifique de l'abus de droit entrepris plus loin - que dans le cadre d'une requête en prolongation de bail (arrêt 4C.333/1997 du 8 mai 1998 consid 3.b; HIGI, Zürcher Kommentar, 4e éd. 1996, n° 80 ad <ref-law>; WEBER, Basler Kommentar, Obligationenrecht, 4e éd. 2007, n° 6 ad <ref-law>). C'est donc en cas de prolongation de bail que les propositions de relogement doivent notamment être prises en considération. Comme on le verra ci-dessous, cette problématique n'a pas à être traitée en l'occurrence.
Ainsi, la cour cantonale n'est pas tombée dans l'arbitraire en admettant, sur la base des preuves apportées par les parties, que le recourant n'avait pas d'emploi à Genève, qu'aucune preuve ou indice n'a été fourni permettant de retenir qu'il avait renoncé à un emploi dans cette ville en raison du fait qu'il ne disposait d'aucun logement et que la possibilité de travailler à Genève n'était qu'une possibilité parmi d'autres, puisqu'il envisageait également de travailler à Londres ou à Paris.
3. Invoquant l'<ref-law>, le recourant reproche à la cour cantonale d'avoir renversé le fardeau de la preuve en lui faisant supporter la preuve complète du motif du congé invoqué, alors qu'il a suffi à l'intimée de rendre vraisemblable la mauvaise foi du recourant.
3.1 Selon la jurisprudence du Tribunal fédéral, même si le fardeau de la preuve d'un congé contraire aux règles de la bonne foi incombe au destinataire du congé, la partie qui résilie a le devoir de contribuer loyalement à la manifestation de la vérité en fournissant tous les éléments en sa possession nécessaires à la vérification du motif qu'elle invoque (arrêt 4A.345/2007 du 8 janvier 2008 consid. 2.4.3; <ref-ruling>, consid. 3c p. 111). Celui qui donne le congé doit ainsi au moins rendre vraisemblable les motifs du congé (arrêt 4A.345/2007 du 8 janvier 2008 consid. 2.4.3; arrêt 4C.170/2004 du 27 août 2004, consid. 2.1).
3.2 Il a été constaté qu'en septembre 2005 - donc plus de 3 mois après avoir donné le congé (6 juin 2005), mais 5 mois avant l'échéance de la résiliation (28 février 2006) - le bailleur s'est installé en Inde, alors même qu'il prétendait avoir besoin de son appartement pour travailler à Genève. Sur cette base, la cour cantonale a donc retenu en fait que le recourant n'avait pas établi avoir un emploi à Genève, mais uniquement un projet hypothétique de s'y rendre et qu'il pouvait également se rendre à Londres ou à Paris. Elle a encore admis que le recourant n'a, de son côté, pas rendu vraisemblable qu'il avait fait des démarches pour trouver un emploi à Genève, ni qu'il avait dû renoncer à son emploi, justement parce qu'il ne pouvait disposer de son appartement dans cette ville. L'appréciation des preuves apportées au cours de l'instruction a permis aux juges genevois de parvenir à une conviction. La répartition du fardeau de la preuve n'a donc, selon la jurisprudence du Tribunal fédéral, plus d'objet (<ref-ruling>, consid. 5.4 p. 601 s.). La violation de l'<ref-law> ne peut donc être retenue.
4. Le recourant se plaint encore d'une transgression de l'<ref-law>.
4.1 Le congé est annulable lorsqu'il contrevient aux règles de la bonne foi (<ref-law>).
Selon la jurisprudence, la protection accordée par l'<ref-law> procède à la fois du principe de la bonne foi (<ref-law>) et de l'interdiction de l'abus de droit (<ref-law>), le choix du terme utilisé à l'<ref-law> ("bonne foi") ne trahissant aucune intention particulière de la part du législateur (<ref-ruling> consid. 4a p. 32; <ref-ruling> consid. 3a p. 108).
Le congé doit être considéré comme abusif s'il ne répond à aucun intérêt objectif, sérieux et digne de protection (arrêt 4A.399/2008 du 12 novembre 2008 consid. 4.1; arrêt 4C. 61/2005 du 27 mai 2005 consid. 4.1; arrêt 4C.267/2002 du 18 novembre 2002 consid. 2.2, reproduit in SJ 2003 I, p. 261 ss; WEBER, Basler Kommentar, Obligationenrecht, 4e éd. 2007, n° 4 ad <ref-law>). Les cas typiques d'abus de droit (absence d'intérêt à l'exercice d'un droit, utilisation d'une institution juridique contrairement à son but, disproportion évidente des intérêts en présence, exercice d'un droit sans ménagement, attitude contradictoire) répondent à cette définition et justifient donc l'annulation du congé; à cet égard, il n'est toutefois pas nécessaire que l'attitude de l'auteur du congé puisse être qualifiée d'abus de droit "manifeste" au sens de l'<ref-law> (<ref-ruling> consid. 3 p. 108).
4.2 En l'espèce, les constatations cantonales (<ref-law>) permettent de nier l'existence d'un intérêt digne de protection sur lequel reposerait la résiliation. Cette dernière a été donnée le 6 juin 2005, pour le 28 février 2006. Or, en septembre 2005, le recourant s'établit en Inde pour une période de 3 ans. Avec l'<ref-law>, le législateur n'a certes pas voulu donner au locataire un droit inaliénable à son bail, en limitant la faculté du propriétaire de disposer de son bien (TERCIER/FAVRE, Les contrats spéciaux, 4e éd. 2009, n° 2709). Est ainsi en principe admissible le congé donné par le bailleur qui a l'intention de vendre un immeuble et qui estime qu'il peut le faire dans de meilleures conditions s'il n'est pas occupé par des locataires (arrêt 4C.267/2002 consid. 2.3; LACHAT, Commentaire romand, 2003, n° 8 ad <ref-law>) ou le congé donné en vue d'obtenir d'un nouveau locataire un loyer plus élevé, mais non abusif (arrêt 4C.61/2005 du 27 mai 2005 consid. 4.1; <ref-ruling> consid. 4a p. 32; <ref-ruling> consid 3a p. 108). Par contre, le bailleur ne saurait exercer son droit en l'absence d'intérêt digne de protection. L'intérêt doit être effectif (cf. dans le contexte général de l'abus de droit: STEINAUER, Le Titre préliminaire du Code civil, TDPS vol. II/1, 2009, n° 576). En l'espèce, il n'a pas été établi que le recourant a effectué le moindre préparatif pour se domicilier effectivement à Genève, ni qu'il aurait dû renoncer à un emploi dans cette ville.
4.3 A cela s'ajoute qu'il y a dans le cas présent une disproportion évidente entre les intérêts des parties.
L'<ref-law> vise toute résiliation qui consacre une attitude déloyale résultant d'une disproportion évidente entre les intérêts en présence (cf. Message du 27 mars 1985 concernant la révision du bail à loyer et du bail à ferme, FF 1985 I 1439 ch. 421.21; <ref-ruling> consid. 3.4.2 p. 744; <ref-ruling> consid. 4a p. 33; HIGI, Zürcher Kommentar, 4e éd. 1996, n° 78 ss ad <ref-law>; LACHAT, Commentaire romand, 2003, n° 6 ad <ref-law>).
En l'espèce, ce déséquilibre est patent. D'un côté, la locataire est une personne âgée, domiciliée dans cet appartement - qu'elle a entretenu et aménagé à ses frais - depuis plus de 20 ans. D'un autre côté, le bailleur a notifié la résiliation du contrat de bail pour le seul motif qu'il avait conçu le vague projet de venir travailler à Genève. Projet d'autant plus vague, qu'il s'agissait d'une possibilité parmi d'autres (apparemment abandonnée à la première difficulté) et que le recourant n'est pas parvenu à établir avoir effectué le moindre préparatif pour se domicilier effectivement dans cette ville. Peu après avoir notifié le congé, mais avant l'échéance de la résiliation, il s'est installé en Inde pour une période de trois ans. Ainsi, comparés à la situation personnelle de l'intimée, les intérêts du recourant apparaissent manifestement de peu de poids. L'annulation du congé en application de l'<ref-law> est justifiée et on ne peut par conséquent reprocher aucune violation du droit fédéral à la cour cantonale.
4.4 Il est retenu que l'argumentation des juges cantonaux relatives à l'annulation du congé ne viole pas le droit fédéral. La question du congé de représailles et celle de la prolongation du bail, également discutées dans le présent recours, deviennent sans pertinence.
5. Il résulte des considérants qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 3'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 19 février 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget