Faits:
A. A.X._, ressortissant du Kosovo né en 1971, est arrivé en Suisse le 24 mai 2003 et y a épousé, le 8 août 2003 à C._, B._, ressortissante suisse. A la suite de ce mariage, il a été mis au bénéfice d'une autorisation de séjour qui a été régulièrement renouvelée.
Par jugement du Tribunal de première instance du canton de Genève du 2 novembre 2004, les époux X._ ont été autorisés à vivre séparés.
Le 3 août 2005, A.X._ a informé l'Office cantonal de la population du canton de Genève (ci-après: l'Office cantonal de la population) qu'il avait pris un nouveau domicile à la suite de sa séparation d'avec son épouse.
Le 24 août 2005, l'Office cantonal de la population a invité B.X._ à l'informer de la suite qu'elle entendait donner à la séparation et à lui indiquer en particulier si une procédure de divorce avait été engagée ou si une reprise de la vie commune était envisagée.
Par courrier du 30 août 2005, la prénommée a répondu que son mari et elle vivaient séparés depuis le mois d'août 2004 et que des mesures protectrices de l'union conjugale avaient été prises quelques semaines plus tard.
Invité à son tour à donner des renseignements sur la situation du couple, A.X._ a déclaré dans une écriture du 26 octobre 2005 qu'il gardait des contacts réguliers avec son épouse et qu'il espérait reprendre la vie commune.
Par jugement du 25 juillet 2007, le Tribunal tutélaire du canton de Genève a prononcé l'interdiction et la mise sous tutelle de B.X._.
Auparavant, le 2 juillet 2007, A.X._ a sollicité le renouvellement de son autorisation de séjour, laquelle arrivait à échéance le 7 août 2007.
Le 8 août 2008, l'Office cantonal de la population a informé le prénommé qu'il était disposé à renouveler son autorisation de séjour, mais que la prolongation était soumise à l'approbation de l'Office fédéral des migrations (ci-après: l'Office fédéral), auquel le dossier était transmis.
Par courrier du 27 août 2008, l'Office fédéral a communiqué à A.X._ qu'il envisageait de refuser de donner son accord à la prolongation sollicitée et de prononcer son renvoi. Un délai lui était imparti pour se déterminer.
Dans une écriture du 8 septembre 2008, A.X._ a relevé qu'il était séparé de sa femme, mais qu'il maintenait de bons contacts avec elle et lui versait une pension alimentaire de 400 fr. par mois. Ayant perdu son travail en raison de la maladie de son épouse, il se trouvait dans une situation financière difficile, mais avait toujours payé ses impôts et n'avait jamais eu recours à l'assistance publique. Il avait toujours cherché à travailler en Suisse pour aider financièrement ses deux filles et ses parents résidant au Kosovo.
Dans un courrier du 25 septembre 2008, il a ajouté que son mariage avec B.X._ avait été un mariage d'amour, mais que son épouse avait été mise sous tutelle le 25 juillet 2007 en raison de troubles psychiatriques qui avaient entraîné leur séparation.
Auparavant, le 7 septembre 2008, B.X._ a adressé à l'Office des migrations un courrier dans lequel elle relevait notamment que son union avec A.X._ avait été un mariage d'amour, que celui-ci continuait à la soutenir malgré leur séparation et qu'il se trouvait au chômage en raison du non-renouvellement de son permis de séjour, alors qu'il devait soutenir financièrement ses deux filles résidant au Kosovo.
B. Par décision du 19 décembre 2008, l'Office fédéral a refusé d'approuver la prolongation de l'autorisation de séjour de A.X._ et a prononcé son renvoi de Suisse.
Saisi d'un recours contre cette décision, le Tribunal administratif fédéral l'a rejeté par arrêt du 27 octobre 2009. Il a relevé que les époux X._ vivaient séparés depuis près de cinq ans, sans qu'une reprise de la vie commune ne soit prévue à brève échéance. Par conséquent, le mariage n'existait plus que formellement et il était abusif de la part du recourant de s'en prévaloir aux fins d'obtenir le renouvellement de son autorisation de séjour. Le Tribunal administratif fédéral a par ailleurs estimé que l'Office fédéral n'avait pas outrepassé le pouvoir d'appréciation qui était le sien en vertu de l'art. 4 de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) en refusant d'approuver la prolongation litigieuse.
C. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, en substance, d'annuler l'arrêt du 27 octobre 2009 et de renouveler son autorisation de séjour.
L'autorité précédente et l'Office cantonal de la population renoncent à se déterminer sur le recours. L'Office fédéral en propose le rejet.

Considérant en droit:
1. Le 1er janvier 2008 est entrée en vigueur la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), qui a remplacé la loi fédérale sur le séjour et l'établissement des étrangers. En vertu de l'art. 126 al. 1 LEtr, les demandes déposées avant l'entrée en vigueur de la loi sont régies par l'ancien droit.
En l'occurrence, la demande de renouvellement de l'autorisation de séjour a été déposée le 2 juillet 2007, soit avant l'entrée en vigueur de la nouvelle loi. La présente affaire doit donc être examinée à la lumière de l'ancienne loi fédérale sur le séjour et l'établissement des étrangers.
2. 2.1 Selon l'art. 83 let. c ch. 4 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent le renvoi.
L'arrêt attaqué porte aussi sur le renvoi du recourant. Par conséquent, dans la mesure où il tend à son annulation sur ce point, le recours est irrecevable.
2.2 Selon l'art. 83 lettre c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donne droit.
En vertu de l'art. 7 al. 1 LSEE, le conjoint étranger d'un ressortissant suisse a droit à l'octroi et à la prolongation de l'autorisation de séjour. Pour juger de la recevabilité du recours en matière de droit public, seule est déterminante la question de savoir si un mariage existe encore formellement (cf. arrêts 2C_864/2008 du 24 février 2009 consid. 2.1, 2C_117/2008 du 17 avril 2008 consid. 3.1).
En l'occurrence, le recourant est toujours marié à une ressortissante suisse, de sorte que la voie du recours en matière de droit public lui est ouverte.
2.3 Les autres conditions de recevabilité du recours en matière de droit public (cf. <ref-law>) étant réunies, il convient d'entrer en matière sur le recours dans la mesure précitée.
3. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - c'est-à-dire pour l'essentiel de manière arbitraire (art. 9 Cst.) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué. En particulier, l'autorité de céans n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid 1.4 p. 400; <ref-ruling> consid. 1.4 p. 254/255; <ref-ruling> consid. 6.2 p. 288).
Dans la mesure où le recourant oppose sa propre version des faits à celle qui ressort de l'arrêt attaqué, sans satisfaire aux exigences de motivation rappelées ci-dessus, ses allégués sont irrecevables. Le Tribunal de céans s'en tiendra aux faits retenus par l'autorité précédente.
4. Selon l'art. 7 al. 1 LSEE, le conjoint étranger d'un ressortissant suisse a droit à l'octroi et à la prolongation de l'autorisation de séjour. Toutefois, en vertu de l'art. 7 al. 2 LSEE, ce droit n'existe pas, lorsque le mariage a été contracté dans le but d'éluder les dispositions sur le séjour et l'établissement des étrangers et notamment celles sur la limitation du nombre des étrangers. D'après la jurisprudence, le fait d'invoquer l'art. 7 al. 1 LSEE peut être constitutif d'un abus de droit, en l'absence même d'un mariage contracté dans le but d'éluder les dispositions sur le séjour et l'établissement des étrangers au sens de l'art. 7 al. 2 LSEE (<ref-ruling> consid. 4.2 p. 117; <ref-ruling> consid. 5a p. 56 et la jurisprudence citée).
L'existence d'un abus de droit découlant du fait de se prévaloir de l'art. 7 al. 1 LSEE ne peut être simplement déduit de ce que les époux ne vivent plus ensemble, puisque le législateur a volontairement renoncé à faire dépendre le droit à une autorisation de séjour de la vie commune. Pour admettre l'existence d'un abus de droit, il ne suffit pas non plus qu'une procédure de divorce soit entamée; le droit à l'octroi ou à la prolongation d'une autorisation de séjour subsiste en effet tant que le divorce n'a pas été prononcé, car les droits du conjoint étranger ne doivent pas être compromis dans le cadre d'une telle procédure. Enfin, on ne saurait uniquement reprocher à des époux de vivre séparés et de ne pas envisager le divorce. Toutefois, il y a abus de droit lorsque le conjoint étranger invoque un mariage n'existant plus que formellement dans le seul but d'obtenir une autorisation de séjour, car ce but n'est pas protégé par l'art. 7 al. 1 LSEE. Le mariage n'existe plus que formellement lorsque l'union conjugale est rompue définitivement, c'est-à-dire lorsqu'il n'y a plus d'espoir de réconciliation; les causes et les motifs de la rupture ne jouent pas de rôle (<ref-ruling> consid. 4.2 p. 267; <ref-ruling> consid. 4.2 p. 117 et les arrêts cités).
5. 5.1 Selon le recourant, sa séparation d'avec sa femme est liée à la maladie dont cette dernière est atteinte et n'exclut pas la reprise de la vie commune. Lors du dépôt de la demande de prolongation de son autorisation de séjour, en juillet 2007, son épouse et lui auraient au contraire souhaité à nouveau vivre ensemble et ils le souhaiteraient toujours, "même si pour le moment cela n'est pas envisageable". Il n'y aurait donc pas absence totale de volonté de reprendre la vie commune, ni de la part du recourant, ni de celle de son épouse. Dans ces conditions, il n'agirait pas de façon abusive en se prévalant de son mariage pour obtenir la prolongation sollicitée.
5.2 Comme indiqué ci-dessus (consid. 4), les motifs de la séparation ne jouent pas de rôle du point de vue du droit à l'autorisation en vertu de l'art. 7 al. 1 LSEE. A cet égard, seul importe le point de savoir s'il existe encore un espoir de réconciliation ou si l'union conjugale est définitivement rompue. Or, en l'espèce, lors du prononcé de la décision attaquée - soit au moment déterminant du point de vue de l'état de fait à prendre en considération (cf. consid. 3 ci-dessus) -, les époux X._ étaient séparés depuis près de cinq ans et il n'existait aucun indice concret laissant présager une reprise de la vie commune. Le seul fait que chacun des conjoints n'aurait pas totalement renoncé à ce projet est insuffisant, tant que cela ne s'est pas matérialisé par des actes. Or, le recourant n'allègue - et démontre encore moins - rien de semblable et admet au contraire lui-même qu'une reprise de la vie commune n'est "pas envisageable" pour le moment.
Dans ces conditions, le Tribunal administratif fédéral pouvait, sans violer le droit fédéral, considérer qu'il était abusif de la part du recourant de se prévaloir de son mariage n'existant plus que formellement pour obtenir le renouvellement de son autorisation de séjour. Partant, le recours est mal fondé.
6. Vu ce qui précède, le recours est rejeté dans la mesure où il est recevable.
Le recourant qui succombe doit supporter les frais judiciaires (cf. <ref-law>) et n'a pas droit à des dépens (cf. <ref-law> a contrario).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Des frais judiciaires de 2'000 fr. sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au représentant du recourant, à l'Office cantonal de la population du canton de Genève, au Tribunal administratif fédéral, Cour III, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 16 juin 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin