Faits :
A.
X._, ressortissant nigérian né en 1976, s'est marié au Kenya le 16 avril 2005 avec une ressortissante de ce pays née en 1976. Celle-ci, arrivée en Suisse le 23 juillet 2001, a étudié durant deux ans, puis a travaillé comme fonctionnaire internationale du 23 février 2004 au 11 octobre 2007, du 7 novembre 2007 au 30 avril 2012, du 1 er mars au 31 juillet 2013, puis du 1 er octobre 2013 au 31 mars 2014. Depuis le 1 er septembre 2015, elle travaille en tant que secrétaire auprès d'une organisation internationale et bénéficie d'une carte de légitimation de type "G", délivrée par le Département fédéral des affaires étrangères (ci-après: le Département fédéral) aux fonctionnaires "court-termes". Le 26 mai 2006, l'intéressé est arrivé en Suisse afin d'y rejoindre son épouse, alors employée auprès d'une organisation internationale. Il a été mis au bénéfice d'une autorisation de séjour de type Ci (conjoint d'un titulaire d'une carte de légitimation délivrée par le Département fédéral). Depuis son arrivée en Suisse, il a exercé divers emplois. L'intéressé et sa femme ont eu trois enfants, nés en 2006, 2008 et 2010, tous au bénéfice d'une carte de légitimation du Département fédéral.
B.
A la suite de la perte de l'emploi de l'épouse de X._ le 30 avril 2012, ce dernier et sa famille ont perdu leur droit de séjourner en Suisse (art. 105 al. 2 LTF). Le 9 août 2012, ils ont déposé auprès de l'Office cantonal de la population de la République et canton de Genève (actuellement l'Office de la population et des migrations de la République et canton de Genève; ci-après: l'Office cantonal) une demande d'autorisation de séjour et de travail pour cas de rigueur. Cet office a rejeté la demande par décision du 14 août 2014 et a imparti un délai aux intéressés pour quitter la Suisse. Par acte du 18 septembre 2014, X._, son épouse et ses enfants ont interjeté recours contre cette décision auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance). Par jugement du 2 avril 2015, celui-ci a rejeté le recours. Le 9 mai 2015, les intéressés ont contesté ce prononcé auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Durant la procédure devant cette autorité, le 7 octobre 2015, l'épouse de l'intéressé a retiré son recours suite à l'obtention de son emploi actuel et d'une nouvelle carte de légitimation. Les trois enfants en ont formellement fait de même le 31 août 2016. Par arrêt du 4 octobre 2016, la Cour de justice, après avoir pris acte du retrait du recours de l'épouse et des enfants de X._, a admis le recours de celui-ci et a annulé le jugement du Tribunal administratif de première instance du 2 avril 2015.
C.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat aux migrations (ci-après: la Secrétariat d'Etat) demande en substance au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt de la Cour de justice du 4 octobre 2016 et de renvoyer la cause à l'Office cantonal, afin qu'il fixe un nouveau délai de départ à l'intéressé pour quitter la Suisse. Il se plaint de violation du droit international.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal fait sien les arguments développés dans le recours par le Secrétariat d'Etat. X._ produit deux documents et demande la confirmation de l'arrêt de la Cour de justice.

Considérant en droit :
1.
1.1. En vertu de l'art. 14 al. 2 de l'ordonnance fédérale du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), le Secrétariat d'Etat a qualité pour recourir devant le Tribunal fédéral (art. 89 al. 2 let. a LTF), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant le refus d'octroi d'une autorisation de séjour en faveur de l'intimé, l'arrêt entrepris peut faire l'objet d'un recours en matière de droit public, dès lors que la Cour de justice a fait application de l'art. 8 CEDH, qu'il existe potentiellement un droit, du point de vue de l'étranger intimé, à l'octroi d'une autorisation de séjour sur cette base (cf. <ref-ruling> consid. 1.2 p. 332 s.) et que le Secrétariat d'Etat peut contester l'arrêt cantonal qui reconnaît l'existence d'un tel droit (cf. <ref-ruling> consid. 1.2 p. 140 s.; arrêt 2C_523/2016 du 14 novembre 2016 consid. 1.1). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'art. 83 LTF.
1.2. Au surplus, le recours est dirigé contre un jugement final (art. 90 LTF) rendu dans une cause de droit public (art. 82 let. a LTF) par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, le recours est recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (art. 99 al. 1 LTF).
Sur le vu de ce qui précède, il n'y a pas à prendre en considération les pièces datées des 16 décembre 2017 ( recte 2016) et 2 janvier 2017, annexées au mémoire de réponse de l'intimé, celles-ci étant postérieures à l'arrêt attaqué. Il ne sera pas non plus tenu compte des faits tels que présentés par le recourant, dans la mesure où ils ne ressortent pas de l'arrêt de la Cour de justice.
3.
Le recourant reproche à la Cour de justice d'avoir violé l'art. 8 CEDH. Selon lui, l'intimé ne peut se prévaloir du droit au respect de sa vie privée et familiale au sens de l'art. 8 par. 1 CEDH, dès lors que la personne de sa famille séjournant en Suisse, au bénéfice d'une carte de légitimation de type "G" délivrée par le Département fédéral, n'a pas un droit de présence assuré dans ce pays.
Pour sa part, la Cour de justice, après avoir laissé la question ouverte de savoir si l'intimé pouvait prétendre à une carte de légitimation au titre du regroupement familial fondé sur la loi du 22 juin 2007 sur les privilèges, les immunités et les facilités, ainsi que sur les aides financières accordés par la Suisse en tant qu'Etat hôte (LEH; RS 192.12), a jugé que celui-ci pouvait invoquer un droit au respect de sa vie privée et familiale au sens de l'art. 8 par. 1 CEDH et que ne pas lui octroyer une autorisation de séjour constituait une ingérence disproportionnée dans son droit prévu par l'art. 8 CEDH.
4.
En premier lieu, force est de constater, même si cela n'est contesté par aucune des parties, que l'intimé ne saurait prétendre à une autorisation de séjour au titre du regroupement familial sur la base de la LEtr (RS 142.20). Son épouse n'est en effet ni ressortissante helvétique (cf. art. 42 LEtr), ni titulaire d'une autorisation d'établissement (cf. art. 43 LEtr), d'une autorisation de séjour (cf. art. 44 LEtr) ou d'une autorisation de courte durée au sens de cette loi (cf. art. 45 LEtr).
5.
Lorsque, comme en l'espèce, l'étranger ne peut invoquer une disposition particulière du droit fédéral ou d'un traité (par exemple l'ALCP [RS 0.142.112.681]), il n'existe pas de droit à la délivrance d'une autorisation de séjour (<ref-ruling> consid. 2.1 p. 335 s. et les références citées). Un étranger peut toutefois, selon les circonstances, se prévaloir du droit au respect de sa vie privée et familiale garanti par l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille.
5.1. Pour pouvoir invoquer cette disposition, non seulement l'étranger doit pouvoir justifier d'une relation étroite et effective avec une personne de sa famille, mais il faut aussi que cette dernière possède le droit de résider durablement en Suisse, ce qui suppose qu'elle ait la nationalité suisse ou qu'elle soit au bénéfice d'une autorisation d'établissement ou d'un droit certain à une autorisation de séjour (<ref-ruling> consid. 1.3.1 p. 145 s.). Le Tribunal fédéral admet exceptionnellement qu'une simple autorisation annuelle de séjour confère un droit de présence durable, à condition que l'étranger disposant de l'autorisation de séjour puisse se prévaloir d'une intégration sociale et professionnelle particulièrement intense (<ref-ruling> consid. 3.2 p. 286; arrêt 2A.2/2005 du 4 mai 2005 consid. 2.3) ou de motifs d'ordre humanitaire (<ref-ruling> consid. 3.1 p. 354 s.).
5.2. Dans une jurisprudence récente (arrêt 2C_360/2016 du 31 janvier 2017), le Tribunal fédéral a examiné le point de savoir si une carte de légitimation de type "H", délivrée par le Département fédéral aux personnes sans privilèges et immunités, ainsi qu'aux collaborateurs n'ayant pas le statut de fonctionnaire international, donne le droit de résider durablement en Suisse. Il a jugé que cette carte ne confère pas à son titulaire un droit de séjour durable en Suisse, raison pour laquelle les membres de sa famille ne peuvent invoquer l'art. 8 CEDH pour demeurer dans ce pays (arrêt 2C_360/2016 du 31 janvier 2017 consid. 5.5). Se pose donc la question de savoir si, avec une carte de légitimation de type "G", l'épouse de l'intimé bénéficie d'un tel droit de séjour et si celui-ci peut se prévaloir du droit à sa vie privée et familiale pour demeurer en Suisse.
6.
6.1. La carte de légitimation sert de titre de séjour en Suisse et remplace l'autorisation de séjour délivrée sur la base des dispositions ordinaires du droit des étrangers. Elle atteste d'éventuels privilèges et immunités dont jouit son titulaire et exempte ce dernier de l'obligation du visa pour la durée de ses fonctions (art. 17 al. 3 de l'ordonnance du 7 décembre 2007 relative à la loi fédérale sur les privilèges, les immunités et les facilités, ainsi que sur les aides financières accordés par la Suisse en tant qu'Etat hôte [OLEH; RS 192.121]; cf. CAROLINE KRAEGE, Sonderregelungen für Personen, die Vorrechte und Immunität geniessen, in Aussländerrecht, Uebersax et al. [éd.], 2 e éd. 2009, n° 5.51). La carte ne fonde toutefois pas les privilèges, mais en atteste uniquement (KRAEGE, op. cit., n° 5.52). L'étendue des privilèges est déterminée en fonction de la catégorie de personnes à laquelle celles-ci appartiennent, conformément au droit international et aux usages internationaux (cf. art. 10 OLEH). Ces privilèges sont accordés en faveur du bénéficiaire institutionnel concerné et non pas à titre individuel (art. 9 al. 1 OLEH). L'art. 20 OLEH définit quant à lui les personnes autorisées à accompagner le titulaire principal. Le Département fédéral détermine dans chaque cas si la personne qui souhaite accompagner le titulaire principal remplit les conditions requises au sens de l'art. 20 OLEH. Toute question pouvant se poser à ce sujet se règle entre le Département fédéral et le bénéficiaire institutionnel concerné, conformément aux usages diplomatiques, à l'exclusion de toute intervention de la personne bénéficiaire (art. 20 al. 5 OLEH). C'est en outre le Département fédéral qui détermine les différents types de cartes de légitimation (art. 17 al. 2 OLEH).
Sur la base de cette délégation, le Département fédéral a arrêté les Lignes directrices du 15 juillet 2015 sur la délivrance des cartes de légitimation aux fonctionnaires des organisations internationales (ci-après: LD; disponibles sur le site Internet de la Mission permanente de la Suisse auprès de l'Office des Nations Unies et des autres organisations internationales à Genève). Selon le pt 2 LD, il existe huit types de carte de légitimation pour fonctionnaires (pt 2.1 LD) et trois types pour les autres personnes appelées en qualité officielle (pt 2.2 LD). La carte de légitimation de type "G" est délivrée aux fonctionnaires avec un contrat de courte durée (fonctionnaires "court-termes"; pt 5 LD) ou au personnel détaché (pt 7 LD). Les membres de la famille des fonctionnaires "court-termes" (c'est-à-dire en particulier les conjoint, concubin et partenaire, ainsi que les enfants célibataires de moins de 25 ans; cf. pt 2.3 LD) reçoivent une carte de légitimation à la condition que l'organisation internationale les reconnaisse comme personnes à charge au sens du Statut du personnel. La même règle s'applique aux autres membres de famille des fonctionnaires "court-termes" (par exemple les enfants célibataires âgé de plus de 25 ans révolus et les ascendants; cf. pt 2.6 LD). La carte de légitimation est établie pour la durée du contrat de travail ou, en cas de contrat à durée indéterminée, pour une durée maximale de cinq ans (pt 9 LD), renouvelable aussi longtemps que son titulaire est en fonction (cf. KRAEGE, op. cit., n° 5.53).
6.2. La question de savoir si l'intimé peut prétendre au regroupement familial en se fondant directement sur la carte de légitimation de son épouse (cf. art. 20 OLEH) ne se pose pas en l'espèce, puisque cette carte est délivrée par le Département fédéral et qu'elle ne peut ainsi pas faire partie de l'objet de la présente procédure. Elle n'est d'ailleurs pas semblable à une autorisation du droit des étrangers qui confère certains droits aux étrangers qui en sont titulaires (comme par exemple, selon l'autorisation en cause, le droit d'exercer une activité lucrative ou le droit au regroupement familial), dès lors qu'elle ne fait que servir de titre de séjour en Suisse (" dient als Aufenthaltserlaubnis für die Schweiz "; cf. art. 17 al. 3 OLEH). Par conséquent, seule se pose la question de savoir si l'intimé, auquel il n'a pas été délivré de carte de légitimation, peut prétendre à une autorisation de droit des étrangers en raison d'un regroupement familial fondé sur l'art. 8 CEDH.
6.3. En l'occurrence, la carte de légitimation de l'épouse de l'intimé, délivrée pour la durée de l'activité de celle-ci auprès de l'organisation internationale qui l'emploie, est certes renouvelable et sa bénéficiaire se trouve depuis plus de quinze ans en Suisse. Il n'en demeure pas moins que son statut dans ce pays est moins stable que celui d'un étranger bénéficiant d'une autorisation du droit des étrangers ou d'une admission provisoire, dont l'exécution du renvoi est impossible, illicite ou inexigible (cf. art. 83 LEtr). On en veut pour preuve l'intitulé de la carte de légitimation (fonctionnaire "court-terme") et le fait qu'à l'issue d'une période d'activité auprès d'une organisation internationale, l'épouse de l'intimé a été obligée de requérir une autorisation de séjour pour cas de rigueur, faute d'avoir vu sa précédente carte de légitimation prolongée. Ce n'est que l'obtention d'un nouvel emploi auprès d'une autre organisation internationale et l'octroi d'une nouvelle carte de légitimation pour fonctionnaire "court-terme" qui lui ont permis de rester en Suisse. Au contraire d'un étranger au bénéfice d'une autorisation de séjour, il n'est pas possible pour l'épouse de l'intimé d'invoquer une intégration sociale et professionnelle particulièrement intense pour se prévaloir d'un droit de présence durable en Suisse. Il est en effet à tout moment possible que son employeur, qui n'a au demeurant conclu qu'un contrat déterminé et de courte durée avec sa salariée, décide de renoncer à renouveler son contrat de travail, comme cela s'est d'ailleurs passé avec les employeurs précédents. Dans une telle situation, la carte de légitimation ne sera pas non plus renouvelée et l'étranger devra quitter la Suisse. En outre, contrairement à un étranger qui viendrait en Suisse et qui ne pourrait plus retourner dans son pays pour des raisons indépendantes de sa volonté, un étranger au bénéfice d'une carte de légitimation d'une validité limitée peut a priori à tout moment retourner dans son pays d'origine. De plus et surtout, lorsqu'il vient en Suisse, l'étranger qui se voit octroyer une telle carte de légitimation sait pertinemment que son statut dans le pays d'accueil n'est que précaire et qu'il est hautement susceptible de devoir retourner à moyen ou court terme dans son pays d'origine. Qu'en l'occurrence cette situation dure depuis plus de quinze ans ne change rien au statut précaire du séjour de l'épouse de l'intimé en Suisse, qui découle de sa carte de légitimation de type "G". Un tel statut est voulu par l'employeur de cette dernière qui, s'il avait désiré conférer des tâches moins éphémères à son employée et l'engager de manière durable et indéterminée, aurait formulé une demande en vue d'obtenir une carte de légitimation conférant plus de droits, en particulier celui au regroupement familial, ou l'aurait reconnu comme personne à charge au sens de son Statut du personnel (cf. pt 2.3 LD).
6.4. On doit ainsi retenir qu'un membre de la famille de l'intimé bénéficie certes d'un titre de séjour en Suisse, mais que ce titre, de par sa nature, ne confère pas à son titulaire un droit de séjour durable en Suisse. L'intimé ne peut par conséquent invoquer l'art. 8 CEDH pour lui-même obtenir le droit de séjourner en Suisse au titre du regroupement familial. Les cartes de légitimation de type "G" n'ont donc pas à être traitées différemment des carte de légitimation de type "H" (cf. arrêt 2C_360/2016 du 31 janvier 2017 consid. 5). Le recours est partant admis, l'arrêt de la Cour de justice du 4 octobre 2016 annulé et le jugement du Tribunal administratif de première instance du 2 avril 2015 confirmé.
7.
Succombant, l'intimé doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens à l'autorité recourante (art. 68 al. 3 LTF). La cause est renvoyée à la Cour de justice pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (art. 67 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt du 4 octobre 2016 rendu par la Cour de justice est annulé. Le jugement du 2 avril 2015 du Tribunal administratif de première instance est confirmé.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3.
La cause est renvoyée à la Cour de justice, afin qu'elle statue à nouveau sur le sort des frais et dépens de la procédure devant elle.
4.
Le présent arrêt est communiqué au recourant, à la mandataire de l'intimé, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, 1 ère section.
Lausanne, le 11 avril 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette