Faits :
A.
A.X._, ressortissante zambienne née en 1983, est mariée à un compatriote, D.X._, qui est arrivé en Suisse le 24 juillet 2008. Celui-ci est engagé auprès d'une organisation internationale et bénéficie d'une carte de légitimation temporaire (de type "H"), délivrée par le Département fédéral des affaires étrangères (ci-après: le Département fédéral) aux personnes sans privilèges et immunités, ainsi qu'aux collaborateurs n'ayant pas le statut de fonctionnaire international. Le 24 septembre 2008, l'intéressée et son fils, B.X._, sont arrivés à Genève au bénéfice d'un visa, pour rendre visite à D.X._.
Le 26 janvier 2009, A.X._, désirant obtenir un diplôme d'études en langue française et un diplôme d'assistante de direction, a demandé une autorisation de séjour pour formation auprès de l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal). Celui-ci a délivré l'autorisation demandée le 4 juillet 2009. Le 13 octobre 2009, B.X._ a obtenu une autorisation de séjour au titre du regroupement familial avec sa mère. Le 17 novembre 2010, l'intéressée a obtenu son diplôme d'étude en langue française. Le 30 juin 2011, elle a obtenu son diplôme d'assistante de direction. Le 21 octobre 2011, l'intéressée a donné naissance au deuxième enfant du couple X._, C.X._.
Précédemment, le 8 juin 2011, A.X._ a demandé une autorisation de séjour sans prise d'activité lucrative pour elle et son fils, afin de vivre avec son mari en Suisse. Par décision du 11 juillet 2012, l'Office cantonal a refusé l'autorisation de séjour demandée et a prononcé le renvoi de Suisse de l'intéressée et de ses deux enfants.
Par courrier du 6 septembre 2012, D.X._ a demandé à l'Office cantonal la prolongation de l'autorisation de séjour de sa femme et ses enfants. Cet office a transmis le courrier précité au Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance), qui l'a renvoyé à l'Office cantonal, afin qu'il en traite comme une demande de reconsidération. Par décision du 17 octobre 2012, l'Office cantonal n'est pas entré en matière sur la demande de reconsidération de D.X._ et a confirmé sa décision du 11 juillet 2012. D.X._ a contesté cette décision auprès du Tribunal administratif de première instance le 18 octobre 2012. Par jugement du 27 novembre 2012, cette autorité a déclaré le recours irrecevable pour cause de tardiveté.
B.
Par courrier du 10 janvier 2013, les époux X._ ont déposé une nouvelle demande d'autorisation de séjour de courte durée en faveur de A.X._ et leurs enfants auprès de l'Office cantonal. Traitant ce courrier comme une nouvelle demande de reconsidération de sa décision du 11 juillet 2012, l'Office cantonal a refusé d'entrer en matière et a imparti un délai à l'intéressée et ses deux enfants pour quitter la Suisse. A.X._ a contesté cette décision auprès du Tribunal administratif de première instance, qui a rejeté le recours par jugement du 17 septembre 2013. Les trois intéressés ont interjeté recours contre ce jugement auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Celle-ci, par arrêt du 17 juillet 2014, a admis le recours et renvoyé la cause à l'Office cantonal pour nouvelle décision sur la requête du 10 janvier 2013. Elle a précisé que cette procédure devait être suspendue jusqu'à ce que le Tribunal administratif de première instance se soit prononcé sur le recours interjeté le 6 septembre 2012 contre la décision du 11 juillet 2012, celui-ci ayant à tort renvoyé la cause à l'Office cantonal pour qu'il en traite comme une demande de reconsidération, alors que le délai de recours n'était pas encore échu.
Par jugement du 26 février 2015, après avoir modifié le nom des parties à la procédure, le Tribunal administratif de première instance a rejeté le recours de A.X._ et ses enfants. Ceux-ci ont contesté ce prononcé auprès de la Cour de justice le 17 avril 2015. Une audience de comparution personnelle des parties s'est déroulée le 2 novembre 2015. Par arrêt du 8 mars 2016, la Cour de justice a admis le recours de A.X._ et ses enfants. Elle a jugé en bref que l'époux de l'intéressée, titulaire d'une carte de légitimation renouvelable, était en Suisse depuis plus de sept ans et avait, de fait, un droit de séjour assuré dans ce pays. Pour cette raison, elle a considéré que A.X._ et ses enfants pouvaient se prévaloir de l'art. 8 CEDH et a ordonné l'octroi d'une autorisation de séjour limitée dans sa durée à la validité de la carte de légitimation de D.X._.
C.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt de la Cour de justice du 8 mars 2016 et de renvoyer la cause à l'Office cantonal, afin qu'il fixe un nouveau délai de départ à l'intéressée et ses enfants pour quitter la Suisse. Il se plaint de violation du droit international.
Sans formuler d'observations, la Cour de justice persiste dans les considérants et le dispositif de son arrêt. A.X._ et ses deux enfants concluent, sous suite de frais et dépens, au rejet du recours. Le Département fédéral s'est déterminé quant aux conditions d'octroi d'une carte de légitimation par regroupement familial.

Considérant en droit :
1.
1.1. En vertu de l'art. 14 al. 2 de l'ordonnance fédérale du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), le Secrétariat d'Etat a qualité pour recourir devant le Tribunal fédéral (<ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant le refus d'octroi d'une autorisation de séjour en faveur de l'intimée et de ses enfants, l'arrêt entrepris peut faire l'objet d'un recours en matière de droit public, dès lors que la Cour de justice a fait application de l'art. 8 CEDH, qu'il existe en principe un droit, du point de vue des étrangers intimés, à l'octroi d'une autorisation de séjour sur cette base (cf. <ref-ruling> consid. 1.2 p. 332 s.) et que le Secrétariat d'Etat peut contester l'arrêt cantonal qui reconnaît l'existence d'un tel droit (cf. <ref-ruling> consid. 1.2 p. 140 s.; arrêt 2C_523/2016 du 14 novembre 2016 consid. 1.1). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>.
1.2. Au surplus, le recours est dirigé contre un jugement final (<ref-law>) rendu dans une cause de droit public (<ref-law>) par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
3.
Le recourant reproche à la Cour de justice d'avoir violé l'art. 8 CEDH. Selon lui, les intimés ne peuvent se prévaloir du droit au respect de leur vie privée et familiale au sens de l'art. 8 par. 1 CEDH, dès lors que la personne de leur famille séjournant en Suisse, au bénéfice d'une carte de légitimation délivrée par le Département fédéral, n'a pas un droit de présence assuré dans ce pays.
Pour sa part, la Cour de justice, après avoir laissé la question ouverte de savoir si les intimés pouvaient prétendre à une carte de légitimation au titre du regroupement familial fondé sur la loi du 22 juin 2007 sur les privilèges, les immunités et les facilités, ainsi que sur les aides financières accordés par la Suisse en tant qu'Etat hôte (LEH; RS 192.12), a jugé que ceux-ci pouvaient invoquer un droit au respect de leur vie privée et familiale au sens de l'art. 8 par. 1 CEDH et que ne pas leur octroyer une autorisation de séjour constituait une ingérence disproportionnée dans leur droit prévu par l'art. 8 CEDH.
4.
En premier lieu, force est de constater, même si cela n'est contesté par aucune des parties, que les intimés ne sauraient prétendre à une autorisation de séjour au titre du regroupement familial sur la base de la LEtr (RS 142.20). Leur mari, respectivement père n'est en effet ni ressortissant helvétique (cf. art. 42 LEtr), ni titulaire d'une autorisation d'établissement (cf. art. 43 LEtr), d'une autorisation de séjour (cf. art. 44 LEtr) ou d'une autorisation de courte durée (cf. art. 45 LEtr).
5.
Lorsque, comme en l'espèce, l'étranger ne peut invoquer une disposition particulière du droit fédéral ou d'un traité (par exemple l'ALCP [RS 0.142.112.681]), il n'existe pas de droit à la délivrance d'une autorisation de séjour (<ref-ruling> consid. 2.1 p. 335 s. et les références citées). Un étranger peut toutefois, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale garanti par l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille.
5.1. Pour pouvoir invoquer cette disposition, non seulement l'étranger doit pouvoir justifier d'une relation étroite et effective avec une personne de sa famille, mais il faut aussi que cette dernière possède le droit de résider durablement en Suisse, ce qui suppose qu'elle ait la nationalité suisse ou qu'elle soit au bénéfice d'une autorisation d'établissement ou d'un droit certain à une autorisation de séjour (<ref-ruling> consid. 1.3.1 p. 145 s.). Le Tribunal fédéral admet exceptionnellement qu'une simple autorisation annuelle de séjour confère un droit de présence durable, à condition que l'étranger disposant de l'autorisation de séjour puisse se prévaloir d'une intégration sociale et professionnelle particulièrement intense (<ref-ruling> consid. 3.2 p. 286; arrêt 2A.2/2005 du 4 mai 2005 consid. 2.3) ou de motifs d'ordre humanitaire (<ref-ruling> consid. 3.1 p. 354 s.). En revanche, la jurisprudence a précisé que le fait qu'un étranger, en raison d'une situation personnelle difficile, soit au bénéfice d'une autorisation de séjour au sens de l'art. 13 let. f de l'ancienne ordonnance du 6 octobre 1986 limitant le nombre des étrangers (aOLE; RO 1986 1791; cf. actuellement art. 30 al. 1 let. b LEtr, SPESCHA, Migrationsrecht, Spescha et al. [éd.], 4e éd. 2015, n° 5 ad art. 30 LEtr), ne conférait en principe pas à ses proches un droit au regroupement familial (arrêt 2A.8/2005 du 30 juin 2005 consid. 3.2.2). Il peut cependant arriver, à titre exceptionnel, que l'étranger au bénéfice d'une autorisation délivrée sur la base de l'art. 13 let. f aOLE en raison d'un cas personnel d'extrême gravité soit dans un état dont on ne peut espérer aucune amélioration dans le futur, de sorte qu'il apparaît d'emblée que l'autorisation de séjour sera renouvelée pendant une longue période. Dans un tel cas, il faut admettre de facto l'existence d'un droit de présence durable en Suisse (cf. arrêt 2A.2/2005 du 4 mai 2005 consid. 2.4.1) qui confère au conjoint le droit de se prévaloir d'une autorisation de séjour en vertu de l'art. 8 CEDH.
5.2. Dans une ancienne jurisprudence, le Tribunal fédéral avait laissé la question ouverte de savoir si un réfugié dont l'admission provisoire avait été prolongée durant plusieurs années en application de l'art. 14c de l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (aLSEE; RO 49 279) bénéficiait de fait d'un statut durable permettant à sa famille de se prévaloir d'un droit au regroupement familial fondé sur l'art. 8 CEDH (<ref-ruling> consid. 2b/cc p. 341 s.; arrêt 2C_22/2009 du 5 octobre 2009 consid. 2.2.2). Dans un arrêt plus récent, le Tribunal fédéral a tranché cette question en jugeant que, même si la situation familiale pouvait se modifier en cas de levée de l'admission provisoire octroyée au parent de l'étranger qui invoquait l'art. 8 CEDH, cette situation apparaissait comme suffisamment stable et durable compte tenu du nombre d'années que ce parent avait déjà passées en Suisse. Le père était en effet dans ce pays depuis dix ans, au bénéfice d'une autorisation de séjour, et la mère depuis sept ans (toutefois seulement depuis un an au bénéfice d'une admission provisoire). Le Tribunal fédéral a ainsi admis que la famille possédait de fait un droit de présence en Suisse qui permettait à l'étranger de se prévaloir de l'art. 8 CEDH (arrêt 2C_639/2012 du 13 février 2013 consid. 1.2.2).
5.3. En l'occurrence, le mari/père des intimés, employé auprès d'une organisation internationale, mais n'ayant pas le statut de fonctionnaire, est au bénéfice d'une carte de légitimation de type "H" délivrée par le Département fédéral, sans privilèges ni immunités.
5.3.1. La carte de légitimation sert de titre de séjour en Suisse et remplace l'autorisation de séjour délivrée sur la base des dispositions ordinaires du droit des étrangers. Elle atteste d'éventuels privilèges et immunités dont jouit son titulaire et exempte ce dernier de l'obligation du visa pour la durée de ses fonctions (art. 17 al. 3 de l'ordonnance du 7 décembre 2007 relative à la loi fédérale sur les privilèges, les immunités et les facilités, ainsi que sur les aides financières accordés par la Suisse en tant qu'Etat hôte [OLEH; RS 192.121]; cf. CAROLINE KRAEGE, Sonderregelungen für Personen, die Vorrechte und Immunität geniessen, in Aussländerrecht, Uebersax et al. [éd.], 2e éd. 2009, n° 5.51). La carte ne fonde toutefois pas les privilèges, mais en atteste uniquement (KRAEGE, op. cit., n° 5.52). L'étendue des privilèges est déterminée en fonction de la catégorie de personnes à laquelle celles-ci appartiennent, conformément au droit international et aux usages internationaux (cf. <ref-law>). Ces privilèges sont accordés en faveur du bénéficiaire institutionnel concerné et non pas à titre individuel (<ref-law>). L'<ref-law> définit quant à lui les personnes autorisées à accompagner le titulaire principal. Le Département fédéral détermine dans chaque cas si la personne qui souhaite accompagner le titulaire principal remplit les conditions requises au sens de l'<ref-law>. Toute question pouvant se poser à ce sujet se règle entre le Département fédéral et le bénéficiaire institutionnel concerné, conformément aux usages diplomatiques, à l'exclusion de toute intervention de la personne bénéficiaire (<ref-law>). C'est en outre le Département fédéral qui détermine les différents types de cartes de légitimation (<ref-law>).
Sur la base de cette délégation, le Département fédéral a arrêté les Lignes directrices du 15 juillet 2015 sur la délivrance des cartes de légitimation aux fonctionnaires des organisations internationales (ci-après: LD; disponibles sur le site Internet de la Mission permanente de la Suisse auprès de l'Office des Nations Unies et des autres organisations internationales à Genève). Selon le pt 2 LD, il existe huit types de carte de légitimation pour fonctionnaires (pt 2.1 LD) et trois types pour les autres personnes appelées en qualité officielle (pt 2.2 LD). La carte de légitimation de type "H" est délivrée aux non-fonctionnaires comme les consultants (pt 6.1 LD) ou les stagiaires et bénévoles (pt 6.2 LD). Les membres de famille des non-fonctionnaires (c'est-à-dire en particulier les conjoint, concubin et partenaire, ainsi que les enfants célibataires de moins de 25 ans; cf. pt 2.3 LD) ne reçoivent pas de carte de légitimation et ne sont pas admis en Suisse au titre de regroupement familial. La même règle s'applique aux autres membres de famille des non-fonctionnaires (par exemple les enfants célibataires âgé de plus de 25 ans révolus et les ascendants; cf. pt 2.6 LD). La carte de légitimation est établie pour la durée du contrat de travail ou, en cas de contrat à durée indéterminée, pour une durée maximale de cinq ans (pt 9 LD), renouvelable aussi longtemps que son titulaire est en fonction (cf. KRAEGE, op. cit., n° 5.53).
5.3.2. La question de savoir si les intimés peuvent prétendre au regroupement familial en se fondant directement sur la carte de légitimation de leur mari/père (cf. <ref-law>) ne se pose pas en l'espèce, puisque cette carte est délivrée par le Département fédéral et qu'elle ne peut ainsi pas faire partie de l'objet de la présente procédure. Elle n'est d'ailleurs pas semblable à une autorisation du droit des étrangers qui confère certains droits aux étrangers qui en sont titulaires (comme par exemple, selon l'autorisation en cause, le droit d'exercer une activité lucrative ou le droit au regroupement familial), dès lors qu'elle ne fait que servir de titre de séjour en Suisse (" dient als Aufenthaltserlaubnis für die Schweiz "; cf. <ref-law>). Par conséquent, seule se pose la question de savoir si les intimés, auxquels il n'a pas été délivré de cartes de légitimation, peuvent prétendre à une autorisation de droit des étrangers en raison d'un regroupement familial fondé sur l'art. 8 CEDH.
5.4. En l'occurrence, la carte de légitimation de l'époux de l'intimée 1, délivrée pour la durée de l'activité de celui-ci auprès de l'organisation internationale qui l'emploie, est certes renouvelable et son bénéficiaire se trouve depuis sept ans en Suisse. Il n'en demeure pas moins que son statut dans ce pays est moins stable que celui d'un étranger bénéficiant d'une autorisation du droit des étrangers ou d'une admission provisoire, dont l'exécution du renvoi est impossible, illicite ou inexigible (cf. art. 83 LEtr). Au contraire d'un étranger au bénéfice d'une autorisation de séjour, il n'est pas possible pour le mari/père des intimés d'invoquer une intégration sociale et professionnelle particulièrement intense pour se prévaloir d'un droit de présence durable en Suisse. Il est en effet à tout moment possible que son employeur, qui ne conclut au demeurant que des contrats déterminés et de courte durée avec son salarié, décide de renoncer à renouveler son contrat de travail. Dans une telle situation, la carte de légitimation ne sera pas non plus renouvelée et l'étranger devra quitter la Suisse. Par ailleurs, contrairement à un étranger qui viendrait en Suisse et qui ne pourrait plus retourner dans son pays pour des raisons indépendantes de sa volonté, un étranger au bénéfice d'une carte de légitimation d'une validité limitée peut a priori à tout moment retourner dans son pays d'origine. De plus et surtout, lorsqu'il vient en Suisse, l'étranger qui se voit octroyer une telle carte de légitimation sait pertinemment que son statut dans le pays d'accueil n'est que précaire et qu'il est hautement susceptible de devoir retourner à moyen ou court terme dans son pays d'origine. Qu'en l'occurrence cette situation dure depuis sept ans ne change rien au statut précaire du séjour de l'époux de l'intimée 1 en Suisse, qui découle de sa carte de légitimation de type H. Un tel statut est voulu par l'employeur de ce dernier qui, s'il avait désiré conférer des tâches moins éphémères à son employé et l'engager de manière durable et indéterminée, aurait formulé une demande en vue d'obtenir une carte de légitimation conférant plus de droits, en particulier celui au regroupement familial.
5.5. On doit ainsi retenir qu'un membre de la famille des intimés bénéficie certes d'un titre de séjour en Suisse, mais que ce titre, de par sa nature, ne confère pas à son titulaire un droit de séjour durable en Suisse. Les intimés ne peuvent par conséquent invoquer l'art. 8 CEDH pour eux-mêmes obtenir le droit de séjourner en Suisse au titre du regroupement familial. Le recours est partant admis, l'arrêt de la Cour de justice du 8 mars 2016 annulé et le jugement du Tribunal administratif de première instance du 26 février 2015 confirmé.
6.
Succombant, les intimés doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens à l'autorité recourante (<ref-law>). La cause est renvoyée à la Cour de justice pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt du 8 mars 2016 rendu par la Cour de justice est annulé. Le jugement du 26 février 2015 du Tribunal administratif de première instance de la République et canton de Genève est confirmé.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des intimés, solidairement entre eux.
3.
La cause est renvoyée à la Cour de justice, afin qu'elle statue à nouveau sur le sort des frais et dépens de la procédure devant elle.
4.
Le présent arrêt est communiqué au recourant, à la mandataire des intimés, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, 1 ère section.
Lausanne, le 31 janvier 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette