Faits: A. Par contrat de bail à loyer du 8 janvier 1973, A._, alors propriétaire, a loué à H.Y._, un appartement dans un immeuble à Genève. Ce contrat a été conclu pour une durée initiale de 5 ans, commençant à courir le 1er mars 1973 pour se terminer le 28 février 1978. Comportant une clause de reconduction tacite d'année en année après son échéance initiale, il est poursuivi dès le 1er mars 1979, aucune des parties ne l'ayant dénoncé. Le loyer mensuel a été fixé à 750 fr. par mois. Il a cependant été augmenté régulièrement pour s'établir, en dernier lieu à 1'680 fr., charges non comprises. F.Y._ était l'épouse de H.Y._, décédé le 27 novembre 1997. Au décès de ce dernier, le bail a passé à F.Y._. Le 29 février 2004, F.Y._ et X._, lequel avait hérité le logement de sa grand-mère A._ décédée au début des années 2000, ont signé formellement un avenant au bail disposant que la première est locataire et que le second est lié en qualité de bailleur. Par avis de résiliation du 6 juin 2005, le bailleur a résilié le bail pour le 28 février 2006, au motif qu'il entendait récupérer l'appartement pour s'établir à Genève avec son épouse et ses trois enfants. L'instruction a montré que, fin septembre 2005, le bailleur, alors employé à Singapour, s'est installé en Inde où il a débuté un nouvel emploi le 3 octobre 2005 pour une durée de 3 ans. Le bailleur a allégué avoir renoncé à un emploi à Genève en raison du fait qu'il ne disposait d'aucun logement dans cette ville. Les témoins cités par le bailleur ont reconnu que celui-ci ne leur avait fait part de son intention de s'établir à Genève qu'après l'engagement de la procédure et ajouté qu'il ne s'agissait là que d'une possibilité parmi d'autres, puisque le bailleur envisageait également de travailler à Londres ou à Paris. B. Le 21 juin 2005, la locataire a saisi la Commission de conciliation en matière de baux et loyers, concluant principalement à l'annulation du congé et subsidiairement à une prolongation de bail. Elle soutient en substance que le congé n'est qu'un prétexte et que le besoin du bailleur n'est pas établi. Par décision du 26 mars 2006, la Commission de conciliation a admis la validité du congé, mais accordé une première prolongation de bail jusqu'au 28 février 2008. La locataire a saisi le Tribunal des baux et loyers du canton de Genève, concluant principalement à l'annulation de la résiliation de son bail et, subsidiairement, à l'octroi d'une prolongation d'une durée de 4 ans. Lors de son inspection locale du 29 mars 2007, le Tribunal des baux et loyers a constaté que la réfection du logement avait été effectuée il y a une quarantaine d'années, en grande partie à la charge des locataires. Il a en outre remarqué que certains travaux d'aménagement avaient été exécutés par ces derniers qui, en plus, avaient installé un meuble sur mesure dans l'une des pièces du logement. La locataire a expliqué devant le Tribunal des baux et loyers qu'elle était âgée de 73 ans, qu'elle occupe son logement depuis 20 ans, qu'elle a entretenu et aménagé à ses frais, et qu'elle est très attachée au quartier où elle a toutes ses habitudes, ses amis et ses repères. Le bailleur conclut au rejet des conclusions de la locataire. Par jugement du 13 mars 2008, le Tribunal des baux et loyers a annulé la résiliation de bail litigieuse. Il a estimé qu'au jour de la résiliation du bail, le motif du congé n'était pas réel, le comportement du bailleur démontrant qu'il n'avait pas l'intention, alors, de s'établir à Genève. Saisie d'un appel du bailleur, la Chambre d'appel en matière de baux et loyers du canton de Genève a confirmé ce jugement par arrêt du 3 novembre 2008. C. Le bailleur a déposé un recours en matière civile auprès du Tribunal fédéral contre l'arrêt du 3 novembre 2008. Il reproche à la cour cantonale d'avoir fait preuve d'arbitraire dans la constatation et l'appréciation des faits et des preuves, de ne pas avoir appliqué correctement les règles sur le fardeau de la preuve (art. 8 CC) et d'avoir violé l'art. 271 CO. Le recourant conclut à l'annulation de la décision attaquée et invite le Tribunal fédéral à constater la validité du congé contesté. L'intimée a conclu principalement au rejet du recours et, subsidiairement, à l'octroi d'une prolongation de bail de 4 ans.