Faits:
A.
X._ (ci-après la contribuable) était imposée dans le canton de Genève pour l'exercice fiscal 2008. Le 2 novembre 2009, l'Administration fiscale cantonale du canton de Genève (ci-après l'Administration cantonale) lui a adressé un bordereau relatif aux impôts cantonal et communal 2008. Pour un revenu imposable de CHF 3'781'680.- et une fortune imposable de CHF 164'467'357.-, la charge fiscale se montait à CHF 2'727'337.15. Un montant de CHF 746'117.05 était porté en déduction au titre de l'impôt anticipé et de la retenue supplémentaire USA. La contribuable ayant en outre acquitté entre avril et octobre 2008 dix acomptes provisionnels de CHF 252'312.- chacun, soit un total de CHF 2'523'120.-, il en résultait un solde en sa faveur de CHF 541'899.90.
B.
La contribuable a élevé réclamation contre ce bordereau et demandé que des intérêts moratoires sur l'excédent d'impôt versé lui soient payés. Par décision du 16 février 2010, l'Administration cantonale a rejeté la réclamation et confirmé le bordereau litigieux.
La contribuable a porté le litige devant la Commission cantonale de recours en matière administrative, devenue depuis le 1er janvier 2011 le Tribunal administratif de première instance du canton de Genève (ci-après le TAPI). Par jugement du 21 novembre 2011, le TAPI a rejeté ce recours.
La contribuable a recouru contre ce jugement auprès de la Chambre administrative de la Cour de justice du canton de Genève (ci-après la Cour de justice), en concluant à l'annulation de la décision sur réclamation et du bordereau querellé, ainsi qu'au renvoi du dossier à l'Administration cantonale pour l'établissement d'un bordereau rectificatif comprenant le paiement d'un intérêt rémunératoire sur le montant de CHF 541'899.90 payé en trop.
La Cour de justice a rendu son arrêt le 21 août 2012. Elle a admis le recours, annulé le jugement du TAPI du 21 novembre 2011, annulé la décision sur réclamation de l'Administration cantonale du 16 février 2010, annulé le bordereau du 2 novembre 2009, et renvoyé la cause à l'Administration cantonale pour nouvelle décision dans le sens des considérants. La Cour de justice a considéré, en substance, que la contribuable avait acquitté la somme totale de CHF 3'269'237.05 sous forme d'acomptes provisionnels, d'impôts anticipés et de retenue supplémentaire USA, dont le solde positif en sa faveur, soit CHF 541'899.90, devait porter intérêt rémunératoire conformément aux principes découlant des dispositions cantonales applicables.
C.
Par acte du 28 septembre 2012, l'Administration cantonale dépose un recours en matière de droit public auprès du Tribunal fédéral à l'encontre de l'arrêt du 21 août 2012. Elle conclut, sous suite de frais, à ce que l'arrêt attaqué soit annulé, que la décision sur réclamation du 16 février 2010 et le bordereau du 2 novembre 2009 soient confirmés, et qu'il soit dit qu'il ne peut pas être alloué d'intérêt rémunératoire ou financier sur les montants imputés ou à rembourser en matière d'impôt anticipé, de retenue d'impôt USA et d'imputation forfaitaire d'impôt étranger.
L'intimée a répondu le 8 novembre 2012. Elle conclut, à la forme, à ce que le recours soit déclaré irrecevable en raison du défaut de qualité pour recourir de l'Administration cantonale, et au fond, à ce qu'il soit rejeté, l'arrêt attaqué confirmé et la cause renvoyée à l'Administration cantonale pour nouvelle décision dans le sens des considérants, le tout sous suite de frais et dépens.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Administration fédérale des contributions se rallie aux conclusions formulées par l'Administration cantonale.
L'Administration cantonale a déposé des observations le 21 février 2013 et l'intimée en a fait de même le 18 mars 2013. Toutes deux ont maintenu leurs conclusions respectives.
D.
Le 21 février 2013, l'Administration cantonale a sollicité la suspension de la cause. Elle exposait qu'elle avait déposé une demande de révision de l'arrêt attaqué, afin de pouvoir intégrer dans la taxation 2008 de la recourante des éléments de revenu et de fortune que cette dernière avait omis de déclarer.
L'intimée s'est opposée à cette demande de suspension.
Par décision du 25 février 2013, la Cour de justice a suspendu la procédure de révision jusqu'à droit jugé par le Tribunal fédéral dans la présente affaire.

Considérant en droit:
1.
Sur le plan procédural, la recourante demande la suspension de la présente procédure jusqu'à ce que la Cour de justice se prononce sur la demande de révision qu'elle a déposée. Il n'apparaît toutefois pas opportun de suspendre cette procédure (<ref-law> [RS 273] par renvoi de l'<ref-law>), dès lors que la demande de révision ne porte pas sur l'objet litigieux dans la présente cause, mais sur d'autres éléments de l'arrêt attaqué. La Cour de justice a par ailleurs elle-même prononcé la suspension de la procédure de révision jusqu'à droit jugé par le Tribunal fédéral sur le présent recours. La requête de suspension sera par conséquent rejetée.
2.
Le Tribunal fédéral examine d'office sa compétence (cf. <ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 103).
2.1. Bien que l'arrêt attaqué constitue une décision de renvoi, il peut être qualifié de décision finale au sens de l'<ref-law>, dès lors que l'autorité à qui la cause est renvoyée ne dispose plus d'aucune marge de manoeuvre, mais doit se limiter à calculer l'intérêt rémunératoire dont le principe a été admis par les juges cantonaux (cf. <ref-ruling> consid. 1.3 p. 127 s.). Il émane en outre d'une autorité judiciaire supérieure ayant statué en dernière instance cantonale dans une cause de droit public et qui ne tombe pas sous le coup d'une clause d'exception de l'<ref-law>. Le présent recours est donc en principe recevable comme recours en matière de droit public (cf. art. 82 let. a et 86 al. 1 let. d et al. 2 LTF). Encore faut-il que l'Administration cantonale ait qualité pour recourir au sens de l'<ref-law>, ce que l'intimée conteste.
2.2. La qualité pour recourir des collectivités publiques est visée en premier lieu par l'<ref-law>. Selon cette disposition, ont en particulier qualité pour recourir les autorités auxquelles une loi fédérale accorde un droit de recours (cf. art. 89 al. 2 let. d LTF). Pour satisfaire aux exigences de la disposition légale, le droit de recours doit être contenu dans une loi au sens formel (cf. <ref-ruling> consid. 2.2.2 p. 56), ouvrant expressément le recours à une autorité donnée (cf. <ref-ruling> consid. 4.2 p. 755 ss; arrêt 2C_527/2007 du 13 mai 2008 consid. 3.1).
2.2.1. En application de l'art. 73 al. 2 de la loi fédérale sur l'harmonisation des impôts directs des cantons et des communes (LHID; RS 642.14), l'administration fiscale cantonale a le droit de recourir contre les décisions portant sur une matière réglée dans les titres 2 à 5 et 6, chap. 1 (cf. <ref-law>). Cette disposition constitue une base légale conférant aux autorités qu'elle désigne la qualité pour recourir conformément à l'art. 89 al. 2 let. d LTF; du moment que la décision attaquée concerne une matière relevant du droit cantonal harmonisé, cette qualité existe, indépendamment de la marge d'autonomie cantonale dans le domaine considéré et des griefs soulevés (<ref-ruling> consid. 1.3 et 1.4 p. 188 ss).
Sous réserve de quelques dispositions (cf. not. les art. 47 al. , 49 al. 3 et 78 LHID), la LHID ne règle pas la perception des impôts cantonaux et communaux, qui est ainsi régie essentiellement par le droit cantonal (cf. arrêts 2C_939/2011 du 7 août 2012 consid. 6; 2C_546/2008 du 29 janvier 2009 consid. 4.2). L'Administration cantonale ne peut par conséquent fonder sa qualité pour recourir sur l'art. 89 al. 2 let. d LTF en lien avec l'<ref-law>, ce qu'elle a d'ailleurs elle-même admis.
2.2.2. L'Administration cantonale se prévaut des art. 54 et 56 de la loi fédérale sur l'impôt anticipé (LIA; RS 642.21). Dans un chapitre consacré au remboursement de l'impôt anticipé par le canton, ces dispositions règlent le recours au plan cantonal (<ref-law>) et le recours au Tribunal fédéral (<ref-law>). Tant l'une que l'autre de ces dispositions mentionnent cependant seulement que la décision rendue respectivement sur réclamation et sur recours peut faire l'objet d'un recours, mais sans préciser qui a qualité pour recourir. La doctrine n'envisage pas le recours d'autorités fiscales cantonales en cette matière (cf. BRUNO KNÜSEL, in Zweifel/Beusch/Bauer-Balmelli (éd.), Bundesgesetz über die Verrechnungssteuer, 2e éd. 2012, n° 3 et 4 ad art. 54 et n° 1 ad <ref-law>) et il n'y a pas de jurisprudence relative à cette question. L'<ref-law> prévoit certes que la décision rendue par l'autorité cantonale de recours doit être communiquée, entre autres, à l'administration cantonale. Cette communication est justifiée par le fait qu'il appartient ensuite à cette administration de veiller à l'exécution de la décision (cf. art. 30 al. 1 et 31 LIA; art. 11-17 du règlement genevois d'application de diverses dispositions fiscales fédérales [RDDFF; RS-GE D 3 80.04]), mais elle ne suffit pas pour en déduire un droit de recours de l'administration cantonale. Pour le recours au Tribunal fédéral, les art. 54 et 56 LIA ne sont ainsi pas assez précis pour en déduire l'existence d'une voie de recours au sens de l'art. 89 al. 2 let. d LTF (cf. supra consid. 2.2). L'Administration cantonale ne peut par conséquent fonder sa qualité pour recourir sur l'art. 89 al. 2 let. d LTF en conjonction avec l'<ref-law>.
2.2.3. Aucun des autres cas de figure visés à l'<ref-law> n'est par ailleurs réalisé. Un canton ne peut en particulier pas invoquer l'art. 89 al. 2 let. c LTF pour attaquer une décision de son propre tribunal administratif (cf. <ref-ruling> consid. 2.4.1 p. 405 s.). Au surplus, le présent recours n'émane pas du canton lui-même, mais d'un simple service administratif (cf. infra consid. 2.3).
L'Administration fédérale des contributions aurait en revanche eu la qualité pour recourir dans la présente affaire en vertu de l'<ref-law> en lien avec l'art. 4 al. 1 de l'ordonnance du 17 février 2010 sur l'organisation du Département fédéral des finances (Org DFF; RS 172.215.1), mais elle n'a pas fait usage de cette faculté.
2.3. Reste la clause générale de l'<ref-law> sur la base de laquelle la jurisprudence admet, à certaines conditions restrictives, le recours des collectivités publiques (cf. <ref-ruling> consid. 2.2). La qualité pour recourir ne saurait cependant appartenir qu'au canton ou à la commune eux-mêmes, à l'exclusion d'une de leurs autorités administratives (cf. <ref-ruling> consid. 2.1 p. 508 ss; <ref-ruling> consid. 2.2.3 p. 48; arrêts 2C_1016/2011 du 3 mai 2012 consid. 1.3 non publié aux <ref-ruling>; 2C_812/2011 du 18 janvier 2012 consid. 1.2).
En l'espèce, le recours a été formé au nom de l'Administration cantonale qui ne prétend pas qu'elle aurait agi en tant que représentante du canton de Genève. Du reste, les corporations de droit public sont en principe représentées seulement par leurs autorités supérieures, en l'occurrence le Conseil d'État s'agissant de Genève (cf. arrêt 2C_1016/2011 du 3 mai 2012 consid. 1.3 non publié aux <ref-ruling>). Partant, il aurait appartenu à la recourante d'indiquer sur la base de quelle disposition légale cantonale elle aurait été compétente pour agir pour le compte du canton (cf. ATF <ref-ruling> consid. 2.2.3 p. 48). Force est donc d'admettre que le recours émane d'une autorité administrative cantonale, ce qui exclut d'emblée qu'elle puisse se prévaloir d'un droit de recours en application de l'<ref-law>.
3.
Au vu de ce qui précède, la qualité pour recourir fait défaut à l'Administration cantonale. Le recours est par conséquent irrecevable.
Compte tenu de l'issue du litige, le canton de Genève, dont l'intérêt pécuniaire est en cause (cf. arrêt 2C_620/2012 du 14 février 2013 consid. 4), doit supporter les frais judiciaires (cf. art. 66 al. 1 et 4 LTF). Il versera en outre à l'intimée une indemnité à titre de dépens (cf. <ref-law>), qui sera fixée en tenant compte de la valeur litigieuse, qui se limite au montant des intérêts rémunératoires en cause.

Par ces motifs, le Tribunal fédéral prononce:
1.
La requête de suspension de la procédure est rejetée.
2.
Le recours est irrecevable.
3.
Les frais judiciaires, fixés à CHF 1'000.-, sont mis à la charge du canton de Genève.
4.
Le canton de Genève versera à l'intimée une indemnité de CHF 1'500.- à titre de dépens.
5.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et à l'Administration fédérale des contributions.
Lausanne, le 28 juin 2013
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Beti