Faits:
A. A.X._, né en 1951, domicilié à Genève, bénéficie depuis 2001 d'une rente viagère du 3ème pilier b qui lui est versée par la société Y._. Cette rente lui est servie en vertu d'un contrat d'assurance de rente viagère du 2 juillet 2001 dont le preneur était la mère du prénommé, B.X._, qui avait versé une prime unique de 469'082 fr. Le contrat ne comportait aucune clause de rachat, le preneur n'étant pas autorisé à mettre un terme prématuré à l'assurance.
Dans sa déclaration d'impôt pour la période fiscale 2005, X._ a mentionné 24'000 fr. à titre de revenu et n'a indiqué aucune fortune. Le revenu en question provenait de la rente viagère qui lui était servie à raison de 2'000 fr. par mois.
B. Le 14 septembre 2006, l'Administration fiscale cantonale genevoise (ci-après: l'Administration fiscale) a notifié à X._ un bordereau de taxation pour l'impôt cantonal et communal 2005 d'un montant de 803 fr. 20. Ce bordereau était fondé sur un revenu imposable de 19'481 fr. et une fortune nulle, l'Administration fiscale ayant retenu un montant de 24'000 fr. comme valeur capitalisée de la rente.
Saisie d'une réclamation, l'Administration fiscale a modifié sa taxation par décision du 12 février 2007. Le revenu imposable a été réduit à 4'966 fr., compte tenu notamment du fait que la rente viagère était imposable seulement à raison de 40% (soit à hauteur de 9'600 fr. = 40% de 24'000 fr.). S'agissant en revanche de l'imposition de la fortune, la valeur capitalisée de la rente a été portée à 432'000 fr., soit le montant annuel de la rente (24'000 fr.) multiplié par 18 ans. Compte tenu de la déduction sociale, la fortune imposable a été arrêtée à 380'000 fr. Le montant de l'impôt s'élevait à 1'822 fr. 05.
Le 3 novembre 2008, la Commission cantonale de recours en matière d'impôts - devenue entre-temps la Commission cantonale de recours en matière administrative - a rejeté le recours formé contre cette décision.
A l'encontre de la décision du 3 novembre 2008, X._ a recouru au Tribunal administratif genevois en contestant l'imposition de la rente capitalisée au titre de la fortune. Par arrêt du 25 août 2009, le recours a été rejeté. Les juges cantonaux ont considéré que la volonté du législateur genevois était de soumettre à l'impôt sur la fortune, de manière large, les valeurs patrimoniales permettant de servir une rente viagère et ce même en l'absence d'une clause de rachat. A défaut d'une telle clause, l'évaluation aux fins de l'imposition au titre de la fortune devait être effectuée, conformément à la réglementation genevoise, par capitalisation de la rente viagère en prenant en considération l'âge de l'assuré. Ce mode d'estimation - qui avait été suivi en l'espèce - n'était pas contraire aux règles d'estimation prévues par le droit fédéral. Le Tribunal administratif a au surplus rejeté l'argumentation du recourant, qui se prévalait du principe de l'égalité en invoquant plusieurs décisions où l'Administration fiscale aurait suivi une pratique différente, plus favorable au contribuable. Les juges cantonaux ont en effet relevé que le recourant avait été taxé de manière conforme à la loi et qu'il ne pouvait rien tirer à son profit du fait que, "dans certains cas isolés", la législation "ait pu ne pas être appliquée par l'administration au mépris de ses propres normes et instructions".
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement d'annuler la décision du 25 août 2009 ainsi que le bordereau correspondant et de "constater que le contribuable doit faire l'objet d'une imposition au titre de la fortune [...] en retenant comme valeur de rachat de l'assurance de rente dont il bénéficie un montant de CHF 0.-"; à titre subsidiaire, il conclut à ce que le dossier soit renvoyé au Département des finances du canton de Genève, afin qu'il émette un nouveau bordereau "en tenant compte comme valeur de rachat de l'assurance de rente dont il bénéficie d'un montant de CHF 0.- dans le cadre de son imposition au titre de la fortune".
L'autorité précédente s'en rapporte à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fiscale conclut au rejet du recours, sous suite de frais. Tout en renonçant à déposer des observations, l'Administration fédérale des contributions propose de rejeter le recours, au vu de la grande liberté dont les cantons jouissent en cette matière.
Considérant en droit:
1. 1.1 Il est admissible de prendre des conclusions qui ne sont pas purement cassatoires, puisque l'art. 107 al. 2 LTF l'emporte sur l'art. 73 al. 3 LHID (ATF 134 II 186 consid. 1.5 p. 190 ss).
En revanche, dans la mesure où le recourant conclut à l'annulation du bordereau de taxation, son acte est irrecevable, étant donné l'effet dévolutif du recours au Tribunal administratif (cf. ATF 126 II 300 consid. 2a p. 302 s.), dont la décision - de dernière instance cantonale - peut seule être attaquée devant le Tribunal fédéral (cf. art. 86 al. 1 lettre d LTF).
1.2 Au surplus, interjeté par une partie directement touchée par la décision et qui a un intérêt digne de protection à son annulation ou sa modification (cf. art. 89 al. 1 LTF), le recours, dirigé contre une décision rendue dans une cause de droit public (cf. art. 82 lettre a LTF) en dernière instance cantonale par un tribunal supérieur (cf. art. 86 al. 1 lettre d et al. 2 LTF), est en principe recevable, puisqu'il a été déposé en temps utile (art. 100 LTF) et en la forme prévue par la loi (art. 42 LTF) et qu'aucune des exceptions énumérées à l'art. 83 LTF n'est réalisée (s'agissant par ailleurs de la portée de l'art. 73 al. 1 LHID en relation avec la loi sur le Tribunal fédéral, cf. ATF 134 II 186 consid. 1.3 p. 189).
1.3 D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Selon l'art. 106 al. 2 LTF, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la loi sur l'harmonisation fiscale laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (ATF 134 II 207 consid. 2 p. 209 s.).
2. L'assurance de rente viagère est une assurance-vie dans laquelle la prestation assurée est versée sous forme de rentes périodiques aussi longtemps que la personne assurée est en vie. Elle peut être susceptible de rachat ou non. Dans le premier cas, l'assurance garantit une prestation en cas de vie de l'assuré - le versement d'une rente - et, en cas de décès de l'assuré au cours de la période de restitution des primes, une prestation en capital correspondant à la valeur de restitution. Pendant la période de restitution, cette assurance est une assurance susceptible de rachat au sens de l'art. 90 al. 2 de la loi fédérale du 2 avril 1908 sur le contrat d'assurance (LCA; RS 221.229.1). Lorsqu'il s'agit d'une assurance de rente viagère non susceptible de rachat, l'assureur verse une rente durant la vie de l'assuré. En cas de décès, il ne doit pas restituer les primes payées ou non utilisées. L'assuré ne peut racheter l'assurance (Amschwand-Pilloud/Jungo/Maute, Assurances-vie et impôts, 2005, p. 128 s., 143; voir aussi Gladys Laffely Maillard, Les assurances sur la vie, notamment les assurances de capitaux à prime unique, et leur traitement fiscal, Archives 66 p. 609 s.; Bernard Viret, Droit des assurances privées, 3e éd., 1991, p. 192).
3. 3.1 La loi sur l'harmonisation fiscale traite de l'imposition de la fortune des personnes physiques aux art. 13 et 14.
Intitulé "Objet de l'impôt", l'art. 13 LHID a la teneur suivante:
"1 L'impôt sur la fortune a pour objet l'ensemble de la fortune nette.
2 La fortune grevée d'usufruit est imposable auprès de l'usufruitier.
3 Les parts de fonds de placement (art. 20, 1er al., deuxième phrase) sont imposables pour la différence entre la valeur de l'ensemble des actifs du fonds et celle de ses immeubles en propriété directe.
4 Le mobilier de ménage et les objets personnels d'usage courant ne sont pas imposés."
L'art. 14 LHID contient des règles d'évaluation. A son alinéa 1er, il dispose de manière générale que la fortune est estimée à sa valeur vénale, la valeur de rendement pouvant être prise en considération de façon appropriée. Cette disposition laisse ainsi une importante marge de manoeuvre aux cantons (cf. Zigerlig/Jud, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, 2e éd., 2002, remarques préalables ad art. 13/14 LHID no 5; voir aussi arrêts 2C_83/2009 du 8 mai 2009 consid. 3.2; 2C_820/2008 du 23 avril 2009 consid. 3.1), comme l'Administration fédérale des contributions l'a également relevé dans son courrier au Tribunal de céans. Cette liberté se
limite cependant à l'évaluation et ne saurait permettre d'imposer un élément qui n'entre pas dans la notion de fortune au sens de l'art. 13 LHID.
3.2 La fortune imposable au sens de l'art. 13 al. 1 LHID se compose de l'ensemble des actifs, pour autant qu'ils ne soient pas exonérés de l'impôt en vertu d'une disposition spéciale. Les actifs imposables comprennent en principe tous les droits - qu'ils portent sur des choses, des créances ou des participations - appréciables en argent, à savoir tous les droits qui peuvent être réalisés, c'est-à-dire cédés en échange d'une contre-prestation (Zigerlig/Jud, op. cit., no 2 ad art. 13 LHID; Höhn/Waldburger, Steuerrecht, 9e éd., 2001, § 15 no 9). Selon la doctrine unanime, ne sont ainsi pas soumis à l'impôt sur la fortune en particulier les droits à des prestations périodiques telles qu'une rente viagère, lorsqu'ils ne sont pas susceptibles de rachat (Zigerlig/Jud, op. cit., no 22 ad art. 13 LHID, no 20 ad art. 14 LHID; Xavier Oberson, Droit fiscal suisse, 3e éd., 2007, § 8 no 5; Ryser/Rolli, Précis de droit fiscal suisse, 4e éd., 2002, p. 407; Amschwand-Pilloud/Jungo/Maute, op. cit., p. 65; Laffely Maillard, op. cit., p. 616). Ces droits ne peuvent en effet être exercés que par le bénéficiaire de la rente (Höhn/Waldburger, op. cit., § 15 nos 9 et 19) et ne sont donc pas cessibles.
3.3 Dans une recommandation des 2 et 3 avril 2003, le Comité de la Conférence suisse des impôts a proposé, en se référant à l'art. 13 al. 1 LHID, que la valeur de rachat des rentes viagères soit soumise à l'impôt sur la fortune, non seulement tant que le versement est différé, mais aussi durant le service de la rente. La valeur de rachat représente en effet dans les deux cas une valeur patrimoniale (pt A 3; cf. aussi Petra Helfenstein, Die Besteuerung der privaten Rentenversicherungen in der Schweiz - eine systematische Darstellung der kantonalen Unterschiede, RF 59/2004 p. 82 s.; Amschwand-Pilloud/ Jungo/Maute, op. cit., p. 65). On peut en déduire a contrario que, selon cette recommandation qui ne lie certes nullement le Tribunal de céans, il n'y a pas lieu d'imposer au titre de la fortune le droit à une rente viagère sans valeur de rachat.
3.4 L'art. 13 al. 1 LHID prescrit ainsi aux cantons de soumettre à l'impôt sur la fortune tous les droits appréciables en argent, tels que définis ci-dessus, mais seulement ceux-ci (cf. Zigerlig/Jud, op. cit., no 2 ad art. 13 LHID). Par conséquent, les droits qui ne correspondent pas à cette définition ne peuvent être imposés au titre de la fortune, tout comme les biens mentionnés à l'art. 13 al. 4 LHID (Zigerlig/Jud, op. cit., no 18 ad art. 13 LHID). Peu importe que l'art. 14 LHID laisse aux cantons une importante marge de manoeuvre s'agissant de l'évaluation de la fortune.
4. 4.1 Aux termes de l'art. 1 de la loi genevoise du 22 septembre 2000 sur l'imposition des personnes physiques - Impôt sur la fortune (LIPP-III; Recueil des lois 2000 p. 738; en vigueur jusqu'au 31 décembre 2009), l'impôt sur la fortune a pour objet l'ensemble de la fortune nette après déductions sociales. Le principe de l'imposition de la fortune nette est conforme à l'art. 13 al. 1 LHID.
Intitulé "Fortune imposable", l'art. 2 LIPP-III dispose que sont notamment soumis à l'impôt sur la fortune les assurances-vie et vieillesse pour leur valeur de rachat (lettre g) et la valeur capitalisée des rentes viagères (lettre h).
Selon l'art. 6 LIPP-III, les rentes viagères touchées par le contribuable en contrepartie d'un versement en capital sont capitalisées d'après l'échelle établie par le Conseil d'Etat.
L'échelle des rentes viagères est contenue dans le règlement du Conseil d'Etat d'application de la loi sur l'imposition des personnes physiques - Impôt sur la fortune, du 19 décembre 2001 (RIPP-III; Recueil des lois 2001 p. 1336; en vigueur jusqu'au 31 décembre 2009). Le capital imposable correspond à un multiple de la rente viagère annuelle, le facteur de multiplication étant fonction de l'âge de la personne sur la tête de laquelle la rente est constituée et décroissant à mesure que cet âge augmente. L'âge pris en considération est déterminé au 31 décembre de l'année pour laquelle l'impôt est dû (art. 2 al. 2 RIPP-III). Pour un âge compris entre 50 et 54 ans, le capital est évalué à 18 fois la rente annuelle (art. 2 al. 1 RIPP-III).
4.2 Les art. 2 lettre h et 6 LIPP-III ne distinguent pas selon que les rentes viagères sont ou non susceptibles de rachat. Amschwand-Pilloud/ Jungo/Maute interprètent ces dispositions en ce sens que les assurances de rentes viagères ne sont soumises à l'impôt sur la fortune que si une restitution des primes a été convenue. Les assurances de risque pur, au nombre desquelles figurent les assurances de rente viagère sans restitution des primes, ne sont pas imposables, selon ces auteurs (op. cit., p. 195). Pour sa part, Xavier Oberson (Droit fiscal suisse, 3e éd., 2007, § 8 no 10) relève qu'en droit genevois la fortune est définie largement et comprend notamment la valeur capitalisée des rentes viagères; cet auteur ne distingue pas parmi les rentes viagères entre celles qui sont susceptibles de rachat et celles qui ne le sont pas. S'agissant par ailleurs de la législation antérieure (art. 35 lettre f de la loi générale du 9 novembre 1887 sur les contributions publiques, dans sa teneur en vigueur du 17 décembre 1947 au 31 décembre 2000, qui était identique à celle de l'art. 2 lettre h LIPP-III), Laffely Maillard mentionne que le canton de Genève est le seul à percevoir l'impôt sur la fortune également sur la valeur capitalisée des rentes viagères non susceptibles de rachat (op. cit., p. 617, note de bas de page 89). Ces dispositions ne devaient toutefois pas demeurer en vigueur après l'échéance du délai de l'art. 72 LHID, de sorte que la question de la conformité à la loi fédérale sur l'harmonisation fiscale ne se posait pas de la même manière.
5. 5.1 En dénonçant une violation des art. 13 et 14 LHID ainsi que du principe de la primauté du droit fédéral (art. 49 al. 1 Cst.), le recourant soutient que, du moment qu'elle n'est pas susceptible de rachat, sa rente viagère n'est pas imposable au titre de la fortune, et qu'à supposer qu'elle le soit, sa valeur devrait être estimée à 0 fr. Il se plaint en outre de ce que la décision du 25 août 2009 serait arbitraire.
5.2 S'agissant de la définition de la fortune imposable, au sens de l'art. 13 al. 1 LHID, la loi fédérale sur l'harmonisation fiscale ne laisse guère de marge de manoeuvre aux cantons (cf. consid. 3.4 ci-dessus), de sorte qu'à cet égard, le Tribunal de céans examine librement la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de ladite loi fédérale (cf. consid. 1.3 ci-dessus).
Il est constant que l'assurance de rente viagère - au demeurant conclue par sa mère - dont bénéficie le recourant ne prévoit pas de restitution des primes et n'a pas de valeur de rachat. Dès lors, il ne s'agit pas d'un actif faisant partie de la fortune imposable au sens de l'art. 13 al. 1 LHID, tel qu'interprété plus haut (consid. 3.2).
L'autorité précédente ainsi que l'Administration fiscale, dans sa détermination sur le recours, justifient l'imposition du droit à la rente litigieuse principalement par la volonté du législateur genevois de soumettre à l'impôt sur la fortune non seulement les assurances-vie ayant une valeur de rachat, mais aussi et plus largement les valeurs patrimoniales permettant de servir une rente viagère et ce même en l'absence d'une clause de rachat. Selon cette interprétation, l'art. 2 lettre h LIPP-III soumet à l'impôt sur la fortune, de manière générale, la valeur capitalisée des rentes viagères, sans distinguer, lorsque celles-ci reposent sur un contrat d'assurance, selon que l'assurance a une valeur de rachat ou non.
Le législateur genevois ne saurait pourtant étendre la notion de fortune imposable au-delà de ce que permet la loi fédérale sur l'harmonisation fiscale. Or, comme on l'a vu, les droits à des prestations périodiques telles qu'une rente viagère ne sauraient être soumis à l'impôt sur la fortune en l'absence d'une valeur de rachat. Entre-temps, le législateur genevois s'est d'ailleurs ravisé, puisque la nouvelle loi du 27 septembre 2009 sur l'imposition des personnes physiques (LIPP; RS/GE D 3 08; entrée en vigueur le 1er janvier 2010) ne mentionne plus la valeur capitalisée des rentes viagères comme élément de la fortune imposable (cf. art. 47 LIPP a contrario). Lors des travaux préparatoires, il est en effet apparu comme problématique de soumettre à l'impôt sur la fortune, de manière générale, la valeur capitalisée des rentes viagères, notamment lorsque celles-ci se fondent sur un contrat d'assurance. Selon la Commission fiscale chargée du projet de loi, il faut plutôt distinguer selon que l'assurance est susceptible de rachat ou non, celles qui ne le sont pas ne pouvant pas être soumises à l'impôt sur la fortune "parce qu'il n'y a pas de créance en restitution du capital constitutif ou des primes" (Secrétariat du Grand Conseil, Rapport du 26 mai 2009 de la Commission fiscale chargée d'étudier le projet de loi sur l'imposition des personnes physiques, p. 165 «http://www.ge.ch/grandconseil/data/texte/PL10199A.pdf» [consulté le 8 février 2010]).
Il apparaît ainsi qu'en confirmant l'imposition au titre de la fortune de la valeur capitalisée de la rente viagère du recourant, alors que celle-ci n'est pas susceptible de rachat, les juges cantonaux ont contrevenu à l'art. 13 al. 1 LHID. Dans ces conditions, l'arrêt entrepris doit être annulé, sans qu'il soit besoin d'examiner les autres griefs soulevés par le recourant.
6. Au vu de ce qui précède, le recours doit être admis dans la mesure où il est recevable. L'arrêt attaqué sera annulé et la cause renvoyée à l'Administration fiscale (cf. art. 107 al. 2 2e phrase LTF), pour qu'elle rende une nouvelle décision de taxation en matière d'impôt cantonal et communal 2005, sans prendre en compte la valeur capitalisée de la rente du recourant.
Succombant, le canton de Genève, dont l'intérêt pécuniaire est en cause, doit supporter les frais judiciaires (cf. art. 66 al. 1 et 4 LTF) et versera des dépens au recourant, qui obtient gain de cause (cf. art. 68 al. 1 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue aux art. 67 et 68 al. 5 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais et dépens de la procédure cantonale.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis dans la mesure où il est recevable. La décision attaquée est annulée et la cause renvoyée à l'Administration fiscale genevoise pour qu'elle rende une nouvelle décision dans le sens des considérants du présent arrêt.
2. La cause est renvoyée au Tribunal administratif du canton de Genève afin qu'il statue à nouveau sur le sort des frais et dépens de la procédure cantonale.
3. Des frais judiciaires de 2'000 fr. sont mis à la charge du canton de Genève.
4. Le canton de Genève versera au recourant une indemnité de dépens de 2'000 fr.
5. Le présent arrêt est communiqué au mandataire du recourant, à l'Administration fiscale cantonale et au Tribunal administratif du canton de Genève, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 29 mars 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Müller Vianin