Faits :
A.
X._, ressortissant gambien né en 1983, a déposé une demande d'asile en Suisse le 6 octobre 2005 sous une fausse identité. Par décision du 27 octobre 2005, l'Office fédéral des migrations (actuellement le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) n'est pas entré en matière sur cette demande et a prononcé le renvoi et l'exécution du renvoi de l'intéressé. Malgré cette décision, X._ est resté en Suisse où, entre avril 2006 et janvier 2007, il a été condamné à quatre reprises à un total de 55 jours de peine privative de liberté et dix jours-amende, essentiellement pour des infractions à la LStup (RS 812.121). Par décision du 4 avril 2007, le Secrétariat d'Etat a prononcé une interdiction d'entrée en Suisse à l'encontre de l'intéressé, valable jusqu'au 3 avril 2012. Le 1 er juin 2007, X._ a encore été condamné à 30 jours-amende pour recel.
Le 16 mai 2008, l'intéressé s'est marié avec une ressortissante suisse née en 1984. Il a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Deux enfants sont issus de cette union (2008 et 2010). Le 2 octobre 2008, le Secrétariat d'Etat a annulé l'interdiction d'entrée en Suisse de X._ et l'a averti qu'en cas de nouvelles plaintes fondées, de sévères mesures administratives pourraient être prononcées à son encontre.
Après avoir encore été condamné à trois reprises, en particulier pour des infractions graves à la LCR et opposition aux actes de l'autorité, X._, par jugement du 3 décembre 2013, a été reconnu coupable d'infraction grave à la LStup et condamné à quatre ans de peine privative de liberté. Ce jugement a été confirmé sur recours, en dernier lieu le 27 octobre 2014 par le Tribunal fédéral (arrêt 6B_632/2014).
B.
Par décision du 31 août 2015, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) a refusé de prolonger l'autorisation de séjour de X._ et de lui délivrer une autorisation d'établissement dont ce dernier avait sollicité l'octroi le 18 mai 2015. Cet office a en outre prononcé le renvoi de l'intéressé. Le 30 septembre 2015, celui-ci a contesté ce prononcé auprès du Tribunal administratif de première instance de la République et canton de Genève, qui a confirmé la décision de l'Office cantonal par jugement du 28 janvier 2016. Par acte du 29 février 2016, X._ a interjeté recours contre ce jugement auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice).
Par arrêt du 3 mai 2016, la Cour de justice a admis le recours de X._ et l'a averti que s'il devait commettre de nouvelles infractions pénales, il s'exposerait à des mesures d'éloignement. Elle a jugé en bref que s'il remplissait les conditions posées à la révocation d'une autorisation de séjour, sa situation familiale, c'est-à-dire la présence en Suisse de sa femme et de ses deux enfants, tous trois ressortissants helvétiques, faisait obstacle à une telle révocation. Un renvoi de Suisse violerait l'art. 8 CEDH et constituerait une mesure disproportionnée.
C.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat demande en substance au Tribunal fédéral, d'annuler l'arrêt du 3 mai 2016 de la Cour de justice et de ne pas prolonger l'autorisation de séjour de X._. Il se plaint de violation du droit fédéral et international.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal renonce à se déterminer. X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, de rejeter le recours. Invité par le Tribunal fédéral le 12 octobre 2016 à présenter de manière appropriée et complète sa situation financière et celle de son épouse, le recourant ne s'est pas déterminé. Dans des observations finales, le Secrétariat d'Etat a confirmé ses conclusions.

Considérant en droit :
1.
1.1. En vertu de l'art. 14 al. 2 de l'ordonnance fédérale du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), le Secrétariat d'Etat a qualité pour recourir devant le Tribunal fédéral (<ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant le refus de prolongation d'une autorisation de séjour en faveur de l'intimé, l'arrêt entrepris peut faire l'objet d'un recours en matière de droit public, dès lors que la Cour de justice a fait application de l'art. 8 CEDH, qu'il existe en principe un droit, du point de vue de l'étranger intimé, à la prolongation d'une autorisation de séjour sur cette base (cf. <ref-ruling> consid. 1.2 p. 332 s.) et que le Secrétariat d'Etat peut contester l'arrêt cantonal qui reconnaît l'existence d'un tel droit (cf. <ref-ruling> consid. 1.2 p. 140 s.; arrêt 2C_997/2015 du 30 juin 2016 consid. 1.1). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>.
1.2. Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable.
2.
Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Il statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 313 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 233 s.). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal de céans (<ref-law>).
Sur le vu de ce qui précède, il n'y a pas à prendre en considération la pièce datée du 9 juin 2016 et annexée au mémoire de réponse de l'intimé, celle-ci étant postérieure à l'arrêt attaqué. Il ne sera pas non plus tenu compte des faits tels que présentés de manière appellatoire par l'intimé, dans la mesure où ils ne ressortent pas de l'arrêt de la Cour de justice.
3.
Le recourant se plaint d'une violation des art. 42, 51, 63 et 96 al. 1 LEtr, ainsi que de l'art. 8 CEDH. Il invoque en particulier une mauvaise pesée des intérêts en présence.
Le présent litige porte donc sur le point de savoir si les conditions de révocation des autorisations et d'autres décisions prévues à l'art. 62 LEtr, par renvoi de l'art. 63 LEtr, sont réunies en l'espèce. Dans un second temps, il conviendra d'examiner si l'intimé peut invoquer l'art. 8 par. 1 CEDH et, le cas échéant, si le droit au respect de la vie familiale de l'intimé, prévu par cette disposition, peut être restreint conformément à l'art. 8 par. 2 CEDH.
4.
4.1. En vertu de l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. Toutefois, à teneur de l'art. 51 al. 1 let. b LEtr, les droits prévus à l'art. 42 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 63 LEtr. Un tel motif existe en particulier lorsque les conditions visées à l'art. 62 let. a ou b LEtr sont remplies (cf. art. 63 al. 1 let. a LEtr, en vigueur depuis le 1 er octobre 2016, mais dont la teneur est semblable à l'ancien art. 63 let. a LEtr), c'est-à-dire lorsque l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 59 à 61 ou 64 CP (art. 62 al. 1 let. b LEtr). Selon la jurisprudence, constitue une peine privative de longue durée au sens de cette disposition toute peine dépassant un an d'emprisonnement, indépendamment du fait qu'elle soit ou non assortie (en tout ou partie) du sursis (<ref-ruling> consid. 2.1 p. 147; <ref-ruling> consid. 5.1 p. 72).
4.2. Par sa condamnation du 3 décembre 2013 (confirmée en dernière instance par le Tribunal fédéral le 27 octobre 2014) à quatre ans de peine privative de liberté pour infraction grave à la LStup, par le fait d'avoir commercialisé au moins 600 grammes de cocaïne brute d'une valeur approximative de 34'000 fr., l'intimé remplit le motif permettant de ne pas prolonger son autorisation de séjour au sens de l'art. 62 al. 1 let. b LEtr, par renvoi de l'art. 63 al. 1 let. a LEtr. Cette appréciation, qui est également celle de l'autorité précédente, n'est au demeurant pas contestée par l'intimé.
5.
Se pose en définitive la question de savoir si l'intimé peut se prévaloir de l'art. 8 CEDH, et en particulier si le refus de prolongation de l'autorisation de séjour de celui-ci constitue une mesure qui prend en compte les différents intérêts en présence.
5.1. L'art. 8 CEDH ne confère en principe pas un droit à séjourner dans un Etat déterminé. Le fait de refuser un droit de séjour à un étranger dont la famille se trouve en Suisse peut toutefois entraver sa vie familiale et porter ainsi atteinte au droit au respect de la vie privée et familiale garanti par cette disposition (<ref-ruling> consid. 3.1 p. 146 s. et les arrêts cités). Il n'y a toutefois pas atteinte à la vie familiale si l'on peut attendre des membres de la famille qu'ils réalisent leur vie de famille à l'étranger; l'art. 8 CEDH n'est a priori pas violé si le membre de la famille jouissant d'un droit de présence en Suisse peut quitter ce pays sans difficultés avec l'étranger auquel a été refusée une autorisation de séjour (<ref-ruling> consid. 2.2 p. 147, <ref-ruling> consid. 2.1 p. 154 ss). En revanche, si le départ du membre de la famille pouvant rester en Suisse ne peut d'emblée être exigé sans autres difficultés, il convient de procéder à la pesée des intérêts prévue par l'art. 8 par. 2 CEDH (cf. consid. 5.2 ci-dessous).
En l'occurrence, il n'est pas contesté que le recourant, dont la femme et les enfants, tous trois de nationalité helvétique, se trouvent en Suisse et avec qui il entretient des relations étroites, peut se prévaloir de l'art. 8 par. 1 CEDH, et en particulier d'un droit au respect de sa vie familiale.
5.2. Le droit prévu à l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. Le refus d'octroyer ou de prolonger une autorisation de séjour ou d'établissement fondé sur l'art. 8 par. 2 CEDH suppose de tenir compte de l'ensemble des circonstances et de mettre en balance l'intérêt privé à l'obtention d'un titre de séjour et l'intérêt public à son refus (<ref-ruling> consid. 3.1 p. 146 s. et les références citées).
Lors de cet examen, qui se confond avec celui imposé par l'art. 96 LEtr (arrêts 2C_419/2014 du 13 janvier 2015 consid. 4.3; 2C_1125/2012 du 5 novembre 2013 consid. 3.1), il y a lieu de prendre en considération la gravité de la faute commise, le temps écoulé depuis l'infraction, le comportement de l'auteur pendant cette période, le degré de son intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (<ref-ruling> consid. 2.2.1 p. 19 s.; <ref-ruling> consid. 4.3 p. 381 s.). La peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts (arrêt 2C_910/2015 du 11 avril 2016 consid. 5.2 et les arrêts cités). Lors d'infractions pénales graves, il existe, sous réserve de liens personnels ou familiaux prépondérants, un intérêt public digne de protection à mettre fin au séjour d'un étranger afin de préserver l'ordre public et à prévenir de nouveaux actes délictueux, le droit des étrangers n'exigeant pas que le public demeure exposé à un risque même faible de nouvelles atteintes à des biens juridiques importants. La durée de présence en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. ATF <ref-ruling> consid. 4.4 et 4.5 p. 382 s.). Selon la jurisprudence Reneja (<ref-ruling>) - qui demeure valable sous l'empire de la LEtr (<ref-ruling> consid. 2.3 p. 148 s.; <ref-ruling> consid. 4.4 p. 382 s.) - applicable au conjoint étranger d'un ressortissant suisse, une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en principe, il y a lieu de refuser l'autorisation de séjour, quand il s'agit d'une première demande d'autorisation ou d'une requête de prolongation d'autorisation déposée après un séjour de courte durée. Cette limite de deux ans ne constitue pas une limite absolue et a été fixée à titre indicatif (cf. <ref-ruling> consid. 2.3 p. 148 s.).
Dans la pesée des intérêts, il faut également tenir compte de l'intérêt de l'enfant à maintenir des contacts réguliers avec son père, ainsi que l'exige l'art. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (RS 0.107). Les dispositions de la convention ne font toutefois pas de l'intérêt de l'enfant un critère exclusif, mais un élément d'appréciation dont l'autorité doit tenir compte lorsqu'il s'agit de mettre en balance les différents intérêts en présence (cf. <ref-ruling> consid. 2.4 p. 320 s. et les références citées).
5.3. En l'espèce, et même si les faits effectivement retenus par l'autorité précédente dans la partie en droit de l'arrêt entrepris sont très succincts et à la limite de remplir les conditions de l'<ref-law>, on peut tout de même retenir qu'outre huit condamnations à des peines allant de 250 fr. d'amende à 30 jours de peine privative de liberté, l'intimé a été condamné en 2013 à une peine privative de liberté de quatre ans pour infraction grave à la LStup commise en 2011. Selon l'arrêt du Tribunal fédéral 6B_632/2014 du 27 octobre 2014 (cf. <ref-law>), on doit ajouter que l'intimé, par le biais de plusieurs transactions, a commercialisé au total au moins 600 grammes de cocaïne brute d'une valeur de l'ordre de 34'000 fr. La Cour cantonale, dans son arrêt pénal du 7 avril 2014, a conclu à une culpabilité très lourde de l'intimé, en retenant à sa charge qu'il n'était pas toxicomane, qu'il s'adonnait au trafic de drogue à côté de son travail pour gagner encore plus d'argent, le faisant apparaître comme un trafiquant mû exclusivement par l'appât du gain, qu'il avait été condamné à plusieurs reprises pour le même motif sans que cela ne modifie en rien son comportement. Celui-ci s'était au contraire aggravé dès lors qu'il endossait un rôle de semi-grossiste. Il n'avait par ailleurs pas esquissé de regrets ni de prise de conscience et s'était même rétracté à l'audience de jugement. Aucun élément n'a été retenu à sa décharge. Dans l'arrêt entrepris, la Cour de justice a encore retenu que l'épouse et les enfants de l'intimé n'avaient pas connaissance du passé délictueux de celui-ci et que l'attachement réciproque des époux, ainsi que celui des enfants envers leur père apparaissait sincère et profond.
5.4. Il faut en premier lieu retenir, à l'instar de la Cour de justice, qu'il ne saurait être demandé à l'épouse et aux enfants de l'intimé de suivre celui-ci en Gambie. Ils sont tous trois ressortissants suisses et n'ont jamais vécu dans ce pays. Toutefois, l'intimé, lorsqu'il a commis sa dernière infraction, devait ou aurait dû se rendre compte qu'en agissant de la sorte, il risquait très vraisemblablement de voir son droit de séjour en Suisse lui être retiré (ou, comme en l'espèce, ne pas être renouvelé). C'est donc en pleine connaissance de cause qu'il a adopté son comportement délictuel, ce d'autant plus qu'en octobre 2008, le Secrétariat d'Etat avait déjà averti l'intimé qu'en cas de nouvelles plaintes fondées, de sévères mesures administratives pourraient être prononcées à son encontre. Certes, il n'est pas exclu, comme il l'affirme, que l'intimé se comporte bien actuellement et qu'il manifeste des regrets pour les graves actes commis, ainsi qu'une volonté de changer de comportement. Il faut cependant lui rappeler que durant l'exécution de sa peine, il est de toute façon attendu d'un délinquant qu'il se comporte de manière adéquate (<ref-ruling> consid. 5.5.2 p. 127 s.). Il ne saurait par conséquent tirer aucun argument de son comportement actuel. En outre, s'il est en Suisse depuis 2005, on ne saurait passer sous silence le fait qu'à son arrivée, l'intimé a sciemment trompé les autorités sur son identité et qu'il a vécu durant près de trois ans dans l'illégalité, ce qui relativise fortement cette durée (cf. <ref-ruling> consid. 4.3 p. 8 s.). Il ne séjourne de manière légale en Suisse que depuis son mariage en 2008, c'est-à-dire trois ans avant qu'il ne commette les faits pour lesquels il a été condamné à quatre ans de peine privative de liberté. Son séjour est donc relativement court, notamment en comparaison aux 22 ans passés hors de Suisse. Finalement, et même si l'arrêt entrepris est fort lacunaire sur la situation financière de l'intimé, il y est tout de même relevé que celui-ci fait l'objet de " poursuites pour de nombreuses dettes ". Son intégration en Suisse ne saurait donc être considérée comme étant réussie, ce d'autant moins que rien ne laisse supposer qu'il bénéficie d'un travail, respectivement d'un revenu périodique stable. Il n'est pas non plus question de rapports avec des tiers ou de participation à des activités sociétales particulières.
Dans ces conditions, et notamment en application de la jurisprudence Reneja, c'est-à-dire compte tenu de la courte période légalement passée en Suisse, de la très lourde condamnation pénale et malgré le fait qu'il ne saurait être exigé de l'épouse et des enfants de l'intimé qu'ils suivent celui-ci en Gambie, l'intérêt privé de l'intimé et de sa famille à vivre ensemble en Suisse ne saurait l'emporter sur l'intérêt public à l'éloigner de ce pays.
6.
Sur le vu de ce qui précède, le recours doit être admis, l'arrêt entrepris annulé et le jugement du Tribunal administratif de première instance de la République et canton de Genève du 28 janvier 2016 confirmé. L'intimé n'ayant pas démontré à suffisance son indigence alors qu'il y a été invité, la demande d'assistance judiciaire est rejetée (<ref-law>). Succombant, l'intimé doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'autorité recourante (<ref-law>). La cause est renvoyée à la Cour de justice pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt du 3 mai 2016 rendu par la Cour de justice est annulé. Le jugement du 28 janvier 2016 du Tribunal administratif de première instance de la République et canton de Genève est confirmé.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
4.
La cause est renvoyée à la Cour de justice, afin qu'elle statue à nouveau sur le sort des frais et dépens de la procédure devant elle.
5.
Le présent arrêt est communiqué au recourant, à la mandataire de l'intimé, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, 1 ère section.
Lausanne, le 14 novembre 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette