Faits :
A.
Ressortissante colombienne née en 1949, A._ a eu six enfants. Ses trois fils vivent en Colombie. Ses trois filles, B._, C._ et D._ont acquis la nationalité suisse et vivent à Genève.
D._était mariée à un ressortissant espagnol, qui est décédé le 10 décembre 2008. Le couple a eu deux enfants, E._ et F._, nés à Genève en 2004. De nationalité espagnole, les enfants ont été mis au bénéfice d'autorisations d'établissement. Ils ont acquis la nationalité suisse le 28 novembre 2017.
B.
Au cours d'un séjour en Suisse en 2011 au bénéfice d'un visa touristique, A._ a sollicité sans succès une autorisation de séjour. Le 15 août 2014, elle a déposé auprès de l'ambassade suisse à Bogota une demande de visa de longue durée, afin de s'établir auprès de sa fille C._. Par décision du 16 octobre 2015, entrée en force, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) a refusé de faire droit à cette demande.
C.
Le 29 février 2016, A._ a déposé une demande de regroupement familial fondée sur l'ALCP, en invoquant la nationalité espagnole de ses petits-fils E._ et F._.
Le 4 mai 2018, l'Office cantonal a refusé de délivrer à A._ une autorisation de séjour, à quelque titre que ce soit. Le recours formé par l'intéressée contre cette décision a été rejeté par jugement du 2 novembre 2018 du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance).
Contre ce jugement, A._ a formé un recours auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 13 août 2019, la Cour de justice a admis le recours, annulé le jugement du 2 novembre 2018, ainsi que la décision de l'Office cantonal du 4 mai 2018, et renvoyé la cause à celui-ci pour une nouvelle décision dans le sens des considérants. En substance, la Cour de justice a retenu que la recourante pouvait se prévaloir de sa qualité d'ascendante pour fonder une prétention à un titre de séjour dérivé sur la base de l'ALCP. Elle a retourné le dossier à l'Office cantonal, afin qu'il délivre une autorisation de séjour à l'intéressée, "dans la mesure où les autres exigences légales sont remplies".
D.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat aux migrations demande au Tribunal fédéral principalement d'annuler l'arrêt de la Cour de justice du 13 août 2019 et de confirmer la décision de l'Office cantonal du 4 mai 2018. Subsidiairement, il conclut au renvoi de la cause à l'Office cantonal pour que la qualité d'"ascendant à charge" au sens de l'art. 3 par. 1 et 2 annexe I ALCP (RS 0.142.112.681) puisse être déterminée.
L'Office cantonal conclut à l'admission du recours. La Cour de justice s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'intimée conclut au rejet du recours.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. D'après la loi sur le Tribunal fédéral, le recours est recevable contre les décisions finales (<ref-law>) ou contre les décisions (finales) partielles (<ref-law>). Le recours est aussi recevable contre les décisions incidentes concernant la compétence et la récusation visées par l'<ref-law>. Contre d'autres décisions incidentes, un recours séparé n'est recevable qu'aux conditions restrictives prévues à l'<ref-law>.
La décision finale est celle qui met un terme à l'instance, qu'il s'agisse d'un prononcé sur le fond ou d'une décision reposant sur le droit de procédure. La décision partielle est celle qui, sans terminer l'instance, règle définitivement le sort de certaines des prétentions en cause (<ref-law>), ou termine l'instance seulement à l'égard de certaines des parties à la cause (<ref-law>). Les décisions qui ne sont ni finales ni partielles d'après ces critères sont des décisions incidentes. Il s'agit notamment des prononcés par lesquels l'autorité règle préalablement et séparément une question juridique qui sera déterminante pour l'issue de la cause (<ref-ruling> consid. 1.1 p. 654; <ref-ruling> consid. 1.2 p. 23). Une décision incidente peut être attaquée, s'il y a lieu, avec la décision finale qu'elle précède (<ref-law>).
1.2. Les arrêts de renvoi sont en principe considérés comme des décisions incidentes contre lesquelles le recours en matière de droit public auprès du Tribunal fédéral n'est ouvert qu'aux conditions des art. 92 et 93 LTF, même si, par cette décision, une question matérielle y est tranchée partiellement (cf. <ref-ruling> consid. 1.3 p. 127 s.). Un arrêt de renvoi est néanmoins considéré comme final si l'autorité à laquelle l'affaire est renvoyée n'a aucune marge de manoeuvre (cf. <ref-ruling> consid. 1.2 p. 148; <ref-ruling> consid. 1.1 p. 143).
1.3. En l'occurrence, l'arrêt attaqué annule le jugement du Tribunal administratif de première instance du 2 novembre 2018 et la décision de l'Office cantonal du 4 mai 2018, en renvoyant la cause à celui-ci pour une nouvelle décision. L'arrêt attaqué constitue ainsi un arrêt de renvoi.
1.4. Dans son recours, l'autorité recourante estime que le renvoi ne laisse aucune marge de manoeuvre à l'Office cantonal, de sorte que l'arrêt querellé doit être assimilé à une décision finale.
Dans son arrêt, la Cour de justice a tranché - par l'affirmative - la question de savoir si l'intimée pouvait se prévaloir, sur le principe, des dispositions de l'ALCP en matière de regroupement familial pour fonder une prétention à un titre de séjour en Suisse. La Cour de justice n'a toutefois pas examiné si les conditions du regroupement familial (cf. art. 3 par. 1 et 2 annexe I ALCP) étaient réunies, laissant à l'autorité de renvoi le soin de décider de ce point et lui conférant ainsi une marge de manoeuvre. Il s'ensuit que la décision de renvoi n'est pas une décision finale, même si une question matérielle, en l'occurrence le principe de l'application des dispositions de l'ALCP en matière de regroupement familial, y est tranchée (cf. arrêt 2C_1085/2018 du 12 décembre 2018 consid. 5.1). Cette question matérielle n'aurait par ailleurs pas pu faire l'objet d'une décision séparée, de sorte que la qualification de décision finale partielle n'entre pas en ligne de compte.
1.5. La décision entreprise ne peut donc être qualifiée de décision finale (<ref-law>) ou finale partielle (<ref-law>) et un recours immédiat au Tribunal fédéral n'est partant ouvert contre l'arrêt attaqué que si les conditions de l'<ref-law> sont remplies.
1.5.1. Selon l'<ref-law>, les décisions incidentes notifiées séparément qui ne portent pas sur la compétence ou sur une demande de récusation (cf. <ref-law>) ne peuvent faire l'objet d'un recours que si elles peuvent causer un préjudice irréparable (let. a), ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b). Il appartient à la partie recourante d'alléguer et d'établir que les conditions de l'<ref-law> sont réalisées, à moins que cela ne fasse d'emblée aucun doute (cf. <ref-ruling> consid. 1.2 p. 479 s.; <ref-ruling> consid. 1.2 p. 429; <ref-ruling> consid. 3.2 p. 292).
1.5.2. En l'occurrence, rien ne laisse apparaître qu'une décision sur le fond du Tribunal fédéral permettrait d'éviter une procédure probatoire longue et coûteuse. L'autorité recourante ne le fait pas non plus valoir. Reste à envisager si elle subit un préjudice irréparable du fait de la décision de renvoi.
1.5.3. Le préjudice irréparable au sens de l'<ref-law> doit être de nature juridique et ne pas pouvoir être réparé ultérieurement par un jugement final ou une autre décision favorable à la partie recourante. Selon la jurisprudence, une autorité qui devrait, à la suite d'une décision de renvoi, rendre une nouvelle décision qui, de son point de vue, serait contraire au droit, sans pouvoir par la suite la remettre en cause devant l'instance supérieure, est réputée subir un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 1.2 p. 109 s.; <ref-ruling> consid. 1.3 p. 128; <ref-ruling> consid. 5.2.2 p. 483 s.). Il en va de même si la cause n'est pas renvoyée directement à cette autorité, mais que, selon la procédure applicable, celle-ci serait dans l'impossibilité de recourir devant les instances inférieures à l'encontre de la décision sur renvoi (arrêts 2C_493/2017 du 5 février 2018 consid. 1.2; 2C_905/2011 du 8 novembre 2011 consid. 2.3; 8C_817/2008 du 19 juin 2009 consid. 4.2.1; 2C_258/2008 du 27 mars 2009 consid. 3.5). En revanche, les autorités fédérales qui ont la qualité pour recourir également dans la procédure cantonale en vertu de l'<ref-law> et peuvent donc, après une décision de renvoi, contester la nouvelle décision sur le plan cantonal et ensuite devant le Tribunal fédéral (par exemple l'Administration fédérale des contributions) ne subissent pas de préjudice irréparable en cas de décision de renvoi à l'autorité de première instance (cf. arrêts 2C_905/2011 du 8 novembre 2011 consid. 2.4; 2C_420/2008 du 3 février 2009 consid. 4.5). Est réservée la situation où l'autorité fédérale a participé à la procédure ayant abouti à la décision de renvoi (cf. arrêt 2C_76/2008 du 2 juillet 2008 consid. 1, non publié in <ref-ruling>).
1.5.4. En l'espèce, le Secrétariat d'Etat aux migrations, qui n'a pas participé à la procédure ayant abouti à l'arrêt de renvoi, a la qualité pour recourir devant les instances cantonales en vertu de l'<ref-law> (cf. <ref-ruling> consid. 4.3.1 p. 175). Il est vrai que cela suppose dans les faits qu'il soit informé de la décision prise par l'Office cantonal, ce qui n'est en principe pas le cas (cf. <ref-law> en lien avec l'ordonnance concernant la notification des décisions cantonales de dernière instance en matière de droit public du 8 novembre 2006 [RS 173.110.47]). Le Secrétariat d'Etat aux migrations peut toutefois exiger dans le cas concret que la nouvelle décision de l'Office cantonal lui soit communiquée. Il pourra alors recourir contre cette décision, le cas échéant jusqu'au Tribunal fédéral, et l'arrêt de la Cour de justice du 13 août 2019 pourra être remis en cause dans ce contexte (cf. <ref-law>). Il s'ensuit que le Secrétariat d'Etat aux migrations, qui ne l'a au demeurant pas fait valoir, ne subit pas en l'état de préjudice irréparable au sens de l'<ref-law> du fait de la décision de renvoi de la Cour de justice.
2.
Il suit de ce qui précède que le recours est irrecevable.
Bien qu'il succombe, le Secrétariat d'Etat aux migrations, qui ne défend pas d'intérêt patrimonial, ne peut se voir imposer les frais de justice (cf. art. 66 al. 1 et 4 LTF). L'intimée, qui a pris position sur le recours avec l'aide d'un représentant, a droit à des dépens, à la charge de la Confédération, soit du Secrétariat d'Etat aux migrations (art. 68 al. 1 et 2 LTF; arrêt 2C_416/2017 du 18 décembre 2017 consid. 3).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le Secrétariat d'Etat aux migrations versera à l'intimée la somme de 1'500 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué au Secrétariat d'Etat aux migrations, au représentant de l'intimée, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, 1ère section.
Lausanne, le 29 janvier 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber