Faits:
A. La société anonyme X._ SA (ci-après: la société ou l'intimée), sise à A._, exploite l'hôtel "B._", à A._, selon un contrat de bail à ferme. Le bailleur est propriétaire de l'hôtel, ainsi que du bien-fonds sur lequel il est bâti.
Le 31 décembre 2000, les parties au contrat précité sont convenues de suspendre l'exploitation de l'hôtel, afin que la société procède, à ses frais, à sa rénovation et à sa transformation. Les travaux ont été achevés en 2004.
Dans son bilan au 31 décembre 2002, la société a indiqué des actifs immobilisés d'un montant total de 56'649'388 fr. 98. Elle a déclaré un capital propre global de 300'000 fr. et un solde du compte de pertes et profits de -7'664'263 fr., mais n'a pas mentionné de capital propre dissimulé. Les dettes envers les actionnaires ou leurs proches s'élevaient à 29'649'297 fr.
Dans l'annexe au bilan intitulée "Etats financiers de l'exercice 2002", la société a indiqué ce qui suit:
"Une convention de postposition à hauteur de CHF 8'500'000.-- a été signée dans le courant de l'exercice 2003 pour tenir compte du solde déficitaire au bilan à la clôture de l'exercice 2002; le créancier postposant s'est par ailleurs engagé à augmenter sa postposition (compte bloqué) durant l'exercice 2004, par le débit de son compte ordinaire au passif du bilan, en fonction de la situation des résultats de l'exercice 2003; le contrat de postposition prévoit, entres autres, que cette postposition ne peut être annulée sans l'accord du créancier bancaire."
Le 26 août 2003, l'Administration fiscale genevoise a notifié à la société un bordereau de taxation de l'impôt cantonal et communal 2002 d'un montant de 126'763 fr. 20, calculé sur la base d'un bénéfice nul et d'un capital imposable de 28'558'161 fr. Elle avait ajouté au capital propre déclaré de 300'000 fr. un capital propre dissimulé de 28'258'161 fr., obtenu comme suit:
Actifs
Valeur comptable en fin d'exercice
% applicables
Endettement admis en fin d'exercice
Liquidités
Créance pour livraison et prestations
Stock de marchandises
Autres actifs circulants
Obligations suisses et étrangères en FS
Installations, machines, outillage, etc.
2'799'200
1'421'796
166'008
1'713
12'403
56'636'986
100%
85%
85%
85%
90%
50%
-2'799'200
-1'208'527
-141'107
-1'456
-11'163
-28'318'493
Totaux
61'038'106
-32'479'945
Dettes envers actionnaires ou proches
Autres dettes
29'649'298
38'753'071
Réserves négatives nettes (soit la perte de l'exercice et les pertes reportées)
-7'664'263
Dettes non admises = capital propre dissimulé
28'258'161
Capital libéré
300'000
Capital propre global en fin d'exercice
28'558'161
B. Sur réclamation de la société, ce bordereau a été confirmé par décision du 11 octobre 2005.
La société a déféré ce prononcé à la Commission cantonale de recours en matière d'impôt du canton de Genève (intégrée par la suite dans la Commission cantonale de recours en matière administrative, dont les compétences ont été reprises par la suite par le Tribunal administratif de première instance du canton de Genève; ci-après: la Commission de recours), qui a partiellement admis le recours par décision du 9 juin 2008. Cette autorité a considéré que la dette qui avait fait l'objet de la convention de postposition ne constituait pas du capital propre dissimulé. Celui-ci devait donc être ramené à 19'758'161 fr. (= 28'258'161 ./. 8'500'000).
A l'encontre de cette décision, l'Administration fiscale genevoise a recouru au Tribunal administratif - devenu entre-temps la Chambre administrative de la Cour de justice du canton de Genève -, qui l'a déboutée par arrêt du 29 novembre 2011, prononcé sans allouer de dépens.
C. Agissant par la voie du recours en matière de droit public, l'Administration fiscale genevoise demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 29 novembre 2011 dans la mesure où il admet que la dette de 8'500'000 fr. ayant fait l'objet de la convention de postposition ne constitue pas du capital propre dissimulé et de confirmer sa décision sur réclamation du 11 octobre 2005. Elle dénonce une sous-imposition du capital propre, ainsi qu'une violation des principes de déterminance et de périodicité.
L'autorité précédente s'en remet à justice quant à la recevabilité du recours et persiste au surplus dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, propose d'admettre le recours. L'intimée conclut à ce que le Tribunal de céans rejette le recours et dise qu'elle n'a pas de capital propre dissimulé s'agissant de la période fiscale litigieuse, subsidiairement que le capital en question s'élève à 13'485'035 fr. et plus subsidiairement à 20'058'160 fr., le tout sous suite de frais et dépens.
Considérant en droit:
1. 1.1 L'arrêt attaqué concerne le capital imposable de la période fiscale 2002. Comme ce domaine relève du droit public et qu'aucune des exceptions prévues à l'art. 83 LTF n'est réalisée, la voie du recours en matière de droit public est ouverte sur la base de l'art. 82 let. a LTF. L'imposition du capital étant une matière harmonisée aux art. 29 ss de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), la voie du recours en matière de droit public est aussi réservée par l'art. 73 al. 1 LHID (cf. ATF 134 II 186 ss).
1.2 Déposé en temps utile (cf. art. 100 al. 1 LTF), le recours est dirigé contre une décision finale (cf. art. 90 LTF) rendue par une autorité cantonale supérieure de dernière instance (cf. art. 86 al. 1 let. d et al. 2 LTF). L'Administration fiscale genevoise est habilitée à recourir en vertu de l'art. 89 al. 2 let. d LTF en relation avec l'art. 73 al. 2 LHID. Il convient donc en principe d'entrer en matière sur son recours.
1.3 La procédure devant le Tribunal fédéral ne connaît pas l'institution du recours joint. La partie qui entend contester une décision doit donc le faire elle-même dans le délai de recours de l'art. 100 LTF. A défaut, elle ne peut plus, dans sa détermination sur le recours interjeté par l'autre partie, que proposer de le rejeter; elle n'est pas admise à reprendre les conclusions formulées devant l'autorité précédente (ATF 138 V 106 consid. 2.1 p. 110). Il s'ensuit dans le cas particulier que les conclusions de l'intimée sont irrecevables dans la mesure où elles tendent à autre chose qu'au rejet du recours.
1.4 D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral, ainsi que la conformité du droit cantonal harmonisé et de son application par les instances cantonales aux dispositions de la LHID. Selon l'art. 106 al. 2 LTF, en revanche, le Tribunal fédéral n'examine la violation de dispositions de droit cantonal que si ces griefs ont été soulevés et motivés. Il en va de même lorsque les dispositions de la LHID laissent une certaine marge de manoeuvre aux cantons, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (ATF 134 II 207 consid. 2 p. 209 s.).
2. 2.1 Selon l'art. 29 al. 1 LHID, l'impôt sur le capital a pour objet le capital propre. S'agissant des sociétés de capitaux, le capital propre imposable comprend le capital-actions ou le capital social libéré, les réserves ouvertes et les réserves latentes constituées au moyen de bénéfices imposés (art. 29 al. 2 let. a LHID). Intitulé "Objet de l'impôt; capital propre dissimulé", l'art. 29a LHID dispose que le capital propre imposable des sociétés de capitaux est augmenté de la part de leurs fonds étrangers qui est économiquement assimilable au capital propre. Le capital propre dissimulé est ainsi défini comme la part des fonds étrangers qui, d'un point de vue économique, est assimilable aux fonds propres. Cette part se détermine en comparant les fonds étrangers figurant au bilan avec ceux que la société, au vu de ses actifs, pourrait obtenir auprès de personnes indépendantes. Dans la mesure où les premiers dépassent les seconds, il s'agit de capital propre dissimulé. A la différence du régime antérieur à la LHID, ce ne sont ainsi plus les règles sur l'évasion fiscale qui régissent l'existence et l'étendue du capital propre dissimulé (cf. ch. 1 et 2.1 de la circulaire no 6 de l'Administration fédérale des contributions du 6 juin 1997, concernant le capital propre dissimulé de sociétés de capitaux et de sociétés coopératives [art. 65 et 75 LIFD], pub. in Archives 66 p. 296 ss; ci-après: la circulaire).
L'art. 29a LHID ne réglemente pas davantage la détermination du capital propre dissimulé imposable. Il ne règle pas, en particulier, la question de la compensation avec les pertes éventuelles. Les cantons disposent à cet égard d'une certaine marge de manoeuvre dans la détermination du capital propre dissimulé imposable (cf. Bernhard Zwahlen, in Kommentar zum Schweizerischen Steuerrecht I/1, Bundesgesetz über die Harmonisierung der direkten Steuern der Kantone und Gemeinden, no 21 ad art. 29a LHID, selon qui les cantons peuvent développer la notion de capital propre dissimulé de la LHID; voir aussi Thomas Linder/Felix Schalcher, Die Erhebung der Kapitalsteuer bei Verlustausweis, RF 66/2011 p. 895 s., qui présentent les différentes réglementations et pratiques cantonales).
Les art. 27, 28 al. 1 et 30 de la loi genevoise du 23 septembre 1994 sur l'imposition des personnes morales (LIPM; RS/GE D 3 15) correspondent respectivement aux art. 29 al. 1, 29 al. 2 let. a et 29a LHID.
Sous le titre "Sociétés de capitaux et coopératives", l'art. 28 al. 2 LIPM prévoit qu'"est imposable au moins le capital-actions et le capital-participation".
2.2 La circulaire, qui a été émise en relation avec l'art. 65 (intitulé "Intérêts sur le capital propre dissimulé") et l'ancien art. 75 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11), abrogé le 10 octobre 1997 avec les autres dispositions sur l'imposition du capital, traite notamment de la détermination du capital propre en cas de report de pertes (ch. 3.3). Elle prévoit à cet égard ce qui suit:
"La requalification de fonds étrangers en capital propre dissimulé est justifiée uniquement par des considérations d'ordre fiscal et a pour but de traiter les intérêts versés sur le capital étranger comme une distribution dissimulée de bénéfice et, partant, un dividende et non pas comme une charge déductible. Par conséquent, il faut assimiler le capital propre dissimulé à du capital social libéré et non pas à des réserves. On ne peut donc compenser une perte reportée qu'avec des réserves, mais non pas avec le capital social libéré, augmenté du capital propre dissimulé".
2.3 Dans l'arrêt 2C_259/2008 du 6 novembre 2008 (pub. in RDAF 2009 II p. 546, StE 2009 B 73.12 no 9, RF 64/2009 p. 491; cf. ég. Hugo Casanova, Die steuerrechtliche Rechtsprechung des Bundesgerichts im Jahre 2008, Kantonale Abgaben, Archives 79 p. 205 ss), le Tribunal fédéral a examiné le cas d'une société anonyme dotée d'un capital-actions de 5 millions fr., qui exploitait un hôtel en Valais. En raison de défauts de construction, des travaux d'assainissement avaient dû être entrepris peu après l'ouverture de l'hôtel. A la fin de l'exercice en cause (2002), le bilan se soldait par des pertes totales d'environ 45 millions fr. Pour éviter le constat de surendettement, l'actionnaire majoritaire avait postposé sa créance d'environ 48 millions fr. Aux fins de l'imposition du capital, les autorités fiscales valaisannes avaient admis l'existence d'un capital propre dissimulé de 26 millions fr. environ et refusé de compenser celui-ci avec les pertes. Le Tribunal fédéral a d'abord relevé qu'en vertu du droit valaisan comme de nombreux autres cantons, le capital social libéré devait être soumis à l'impôt - dans le sens d'une imposition minimale - aussi lorsque, comme en l'espèce, il n'était en réalité plus disponible, ce qui allait à l'encontre du principe de l'imposition selon la capacité contributive; la question de la conformité d'une telle réglementation avec la Constitution et le droit fédéral n'avait toutefois pas à être tranchée en l'absence de griefs soulevés en bonne et due forme (consid. 2.3). Les pertes étant, en l'occurrence, dans tous les cas supérieures au montant litigieux, la question du capital propre dissimulé ne devait être tranchée que s'il était exclu de compenser celui-ci avec les pertes, le capital propre dissimulé devant être entièrement assimilé au capital social libéré et soumis comme lui à une imposition minimale (consid. 2.4.2). Examinant ainsi la question de la compensation, le Tribunal de céans a rejeté l'argument de l'autorité précédente selon lequel celle-ci était exclue en vertu du ch. 3.3 de la circulaire. Il a relevé en substance que ce passage de la circulaire était conçu dans l'optique de soumettre à l'impôt sur le revenu les intérêts afférents au capital propre dissimulé et ne valait pas sans autres précisions pour l'imposition du capital. S'agissant de cette dernière, l'on ne voyait pas pour quelle raison il serait exclu de compenser le capital propre dissimulé avec les pertes. La compensation devait en tout cas être admise dans le cas particulier, ce d'autant qu'il convenait de ne pas étendre l'imposition minimale sans possibilité de compensation évoquée plus haut par une interprétation extensive de la notion de capital social libéré. Quant au fait que l'actionnaire créancier avait postposé sa créance, cela ne changeait rien - en tout cas dans les circonstances de l'espèce -, ni du point de vue de la qualification de capital propre dissimulé, ni s'agissant de la possibilité de compenser celui-ci avec les pertes (consid. 2.5.3). Seul le capital-actions de 5 millions fr. était ainsi imposable (consid. 3).
3. 3.1 En l'occurrence, les autorités cantonales ont procédé à la comparaison, prescrite par l'art. 29a LHID (cf. consid. 2.1 ci-dessus), entre les fonds étrangers figurant au bilan de l'intimée et ceux qu'elle aurait pu obtenir, au vu de ses actifs, auprès de personnes indépendantes. Cette comparaison a révélé un endettement excessif - et une sous-capitalisation - à hauteur de 35'922'424 fr. (soit la somme des dettes comptabilisées: 29'649'298 + 38'753'071 = 68'402'369 ./. 32'479'945 fr. représentant l'endettement admissible compte tenu des actifs). De ce montant, les autorités cantonales ont d'abord soustrait les pertes de 7'664'263 fr., ce qui donnait un capital propre dissimulé de 28'258'161 fr. L'autorité précédente, à la suite de la Commission de recours, a ensuite déduit de cette dernière somme le montant de la dette postposée (8'500'000 fr.), déduction qui est seule litigieuse.
3.2 L'autorité précédente s'est référée, à l'instar de la Commission de recours, à des décisions schwytzoise et argovienne (pub. respect. in RF 60/2005 p. 857 et StE 1989 B 73.12 no 6), qui auraient été confirmées par l'arrêt 2C_259/2008, précité. Les autorités genevoises ont interprété ces jurisprudences en ce sens qu'il ne pourrait y avoir de reprise au titre du capital propre dissimulé sur les prêts postposés, lorsque les pertes dépassent l'ensemble des réserves ouvertes et latentes. En l'absence, dans le cas particulier, de réserves ouvertes ou latentes permettant de compenser les pertes, il conviendrait d'admettre la créance postposée en déduction du capital propre dissimulé.
3.3 Il est vrai que, selon la législation ou la pratique de certains cantons - dont celui de Schwytz -, le fait qu'une dette a été postposée joue un rôle dans la détermination du capital propre dissimulé, dans la mesure où il devient alors possible de compenser les pertes éventuelles avec la dette en question, pour autant que celles-ci excèdent le montant des réserves ouvertes et latentes (cf. Linder/Schalcher, op. cit., p. 896 et les références; décision de la Commission de recours en matière d'impôts du canton de Schwytz du 20 décembre 2004 consid. 3e, in RF 60/2005 p. 859 s.). Cette réglementation part du principe que les pertes ne peuvent être compensées qu'avec des réserves, comme cela ressort du ch. 3.3 de la circulaire (cf. consid. 2.2 ci-dessus). En assimilant les dettes postposées à des réserves, elle permet de compenser les pertes avec celles-là, dans la mesure où la compensation n'a pu intervenir avec des réserves ouvertes ou latentes (celles-ci étant inexistantes ou insuffisantes pour que les pertes puissent être intégralement compensées avec elles). Cette réglementation ne concerne toutefois que la compensation des pertes lors de la détermination du capital propre dissimulé. Contrairement à ce que les autorités précédentes semblent avoir admis, elle ne prescrit pas la déduction des dettes postposées lors du calcul dudit capital. Par conséquent, outre que le canton de Genève ne connaît apparemment pas une telle réglementation, la jurisprudence en cause ne saurait fonder la déduction litigieuse. Le litige doit plutôt être tranché au regard de l'art. 29a LHID et de la jurisprudence y relative.
3.4 Le procédé adopté par les autorités précédentes, consistant à retrancher le montant de la dette postposée lors de la détermination du capital propre dissimulé, revient à considérer que celle-ci ne fait pas partie des fonds étrangers économiquement assimilables au capital propre de la société, au sens de l'art. 29a LHID. Pourtant, dans son arrêt précité 2C_259/2008, interprétant l'art. 29a LHID à la lumière du principe de l'imposition selon la capacité contributive (art. 127 al. 2 Cst.), le Tribunal de céans a jugé que, dans le cas particulier, le fait que des dettes avaient fait l'objet d'une convention de postposition au sens de l'art. 725 al. 2 CO ne changeait rien au plan de la qualification de capital propre dissimulé (consid. 2.5.3). Ce point de vue doit être confirmé, pour les motifs suivants.
En soi, le fait que des dettes ont fait l'objet d'une convention de postposition justifie même d'autant plus de les assimiler à du capital propre. En effet, une telle convention, généralement conclue avec des actionnaires ou des personnes proches, a pour effet qu'en cas de faillite la société devra désintéresser les titulaires des créances postposées seulement après avoir intégralement réglé tous ses autres engagements (cf. art. 725 al. 2 CO), mais avant les actionnaires. D'un point de vue économique, les dettes postposées se rapprochent ainsi du capital propre, raison pour laquelle certains auteurs les qualifient de " quasi-fonds propres " (Henry Peter/Francesca Cavadini, in Commentaire romand, Code des obligations II, 2008, no 52 ad art. 725 CO, avec renvoi à Rita Trigo Trindade, Les prêts remplaçant les fonds propres, in Insolvence, désendettement et redressement, Mélanges Dallèves, 2000, p. 379; concernant les situations où les dettes postposées jouent exactement le même rôle de compensation des pertes [" Verlustausgleichsfunktion "] que les fonds propres, cf. Ulysses von Salis-Lütolf, Verdecktes Eigenkapital - Warum der Drittvergleich im Steuerrecht nichts wirtschaftlich Bedeutendes vermittelt, RDS 121/2002 I p. 180 s.).
L'assimilation des dettes postposées à des fonds propres aux fins de l'imposition du capital peut certes poser problème, sous l'angle du principe de l'imposition selon la capacité contributive, lorsque la postposition a lieu pour éviter les conséquences d'un surendettement, ce qui est la règle (cf. art. 725 al. 2 CO). En effet, la postposition intervient alors dans la mesure où, à la suite de pertes, les actifs ne suffisent plus à couvrir les dettes, de manière à rétablir l'équilibre (cf. art. 725 al. 2 CO in fine: "dans la mesure de cette insuffisance de l'actif"). En principe, les dettes postposées ne sont ainsi pas "contre-balancées" par des actifs correspondants et équivalent plus ou moins au montant des pertes qui sont à l'origine de la disparition des actifs. Dans ces conditions, le fait de considérer les dettes en question comme du capital propre dissimulé imposable peut poser problème, parce que la société ne dispose plus d'actifs dans la mesure indiquée et que sa capacité contributive s'en trouve réduite d'autant. La difficulté ne provient toutefois pas de la postposition elle-même - laquelle justifie plutôt l'assimilation à des fonds propres imposables, comme il a été dit -, mais de l'insuffisance de l'actif qui en constitue le motif. Le problème disparaît quoi qu'il en soit lorsque, comme en l'espèce, le montant des pertes - équivalant à peu près, comme relevé ci-dessus, à celui de l'insuffisance de l'actif et, partant, des dettes postposées - est déduit lors de la détermination du capital propre dissimulé imposable. Il n'y a alors plus de raison, sous l'angle du principe de l'imposition selon la capacité contributive, de déduire, en plus du montant des pertes, celui des dettes postposées. Cette dernière déduction contrevient dès lors à l'art. 29a LHID interprété à la lumière du principe précité.
Dans le cas particulier, le fait que l'autorité précédente a admis la dette postposée de 8,5 millions fr. en déduction du capital propre dissimulé, après avoir déjà soustrait les pertes de 7'664'263 fr., est donc contraire à l'art. 29a LHID. Partant, le recours doit être admis, sans qu'il soit besoin d'examiner les autres griefs soulevés.
4. Vu ce qui précède, le recours doit être admis. L'arrêt de la Cour de justice du canton de Genève du 29 novembre 2011 doit être annulé et la décision sur réclamation de l'Administration fiscale cantonale genevoise du 11 octobre 2005 confirmée.
Succombant, l'intimée doit supporter les frais judiciaires (cf. art. 66 al. 1 LTF). Il n'est pas alloué de dépens (cf. art. 68 al. 3 LTF).
Le Tribunal fédéral ne fera pas usage de la faculté prévue à l'art. 67 LTF et renverra la cause à l'autorité précédente pour qu'elle statue sur les frais de la procédure suivie devant elle.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt de la Cour de justice du canton de Genève du 29 novembre 2011 est annulé. La décision sur réclamation de l'Administration fiscale cantonale genevoise du 11 octobre 2005 est confirmée.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge de l'intimée.
3. La cause est renvoyée à la Cour de justice du canton de Genève pour nouvelle décision sur les frais de la procédure antérieure.
4. Le présent arrêt est communiqué à l'Administration fiscale cantonale genevoise, au mandataire de l'intimée, à la Cour de justice du canton de Genève, Chambre administrative 1ère section, et à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre.
Lausanne, le 31 août 2012
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Vianin