Faits :
A.
X._, ressortissant algérien né en 1980, est entré en Suisse en 2001 afin d'y déposer une demande d'asile sous une fausse identité. Le 9 octobre 2001, l'Office fédéral des migrations (actuellement: le Secrétariat d'Etat aux migrations) n'est en particulier pas entré en matière sur cette demande. Sous sa véritable identité, X._ a épousé une ressortissante suisse le 12 décembre 2003 et a de ce fait obtenu une autorisation de séjour au titre du regroupement familial. En 2005, un enfant est né de cette union. A tout le moins depuis le 1 er juin 2006, le couple s'est séparé, la garde sur l'enfant ayant été attribuée à la mère. X._ a fait l'objet de nombreuses condamnations pénales, notamment en 2008 à deux ans et six mois de peine privative de liberté pour brigandage et vol, ainsi qu'en 2009 à cinq mois de peine privative de liberté pour vol, dommage à la propriété et violation de domicile.
Le 18 novembre 2009, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal), après avoir averti l'intéressé, a refusé de renouveler l'autorisation de séjour de celui-ci. Cette décision est devenue définitive à la suite de l'arrêt du 28 juin 2011 du Tribunal fédéral (arrêt 2C_537/2011), déclarant irrecevable le recours contre l'arrêt du 3 mai 2011 de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice).
Ensuite du divorce prononcé le 16 mai 2011, X._ a formé une demande en vue de se remarier avec sa précédente épouse le 20 janvier 2012. Le 15 juin 2012, l'Office cantonal a notamment refusé d'octroyer une autorisation de séjour à l'intéressé. Cette décision est entrée en force à la suite de l'arrêt du Tribunal fédéral du 20 janvier 2014 (arrêt 2C_994/2013), rejetant un recours de l'intéressé contre un arrêt du 27 août 2013 de la Cour de justice. Le 14 mars 2014, X._ et sa compagne ont eu un second enfant.
Avant que le Tribunal fédéral ne rende l'arrêt 2C_994/2013 précité, l'intéressé a demandé à l'Office cantonal, le 9 décembre 2013, de reconsidérer sa décision du 15 juin 2012. Par décision du 23 octobre 2014, l'Office cantonal a refusé d'entrer en matière sur cette demande. Le 12 mai 2015, la Cour de justice a confirmé le jugement du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) du 18 décembre 2014 rejetant le recours de l'intéressé contre la décision du 23 octobre 2014. Cet arrêt est entré en force.
B.
Le 18 novembre 2015, l'ex-épouse de l'intéressé a demandé à l'Office cantonal de reconsidérer sa décision, son compagnon étant retourné en Algérie, avant de revenir illégalement en Suisse à l'aide d'un passeur. Par décision du 5 avril 2016, l'Office cantonal a refusé d'entrer en matière sur la nouvelle demande de reconsidération et a imparti à X._ un délai pour quitter la Suisse. Ce dernier a recouru contre ce prononcé auprès du Tribunal administratif de première instance le 29 avril 2016. Par jugement du 3 février 2017, cette autorité a confirmé la décision du 5 avril 2016. Par acte du 8 mars 2017, X._ a interjeté recours contre ce jugement auprès de la Cour de justice. Par arrêt du 27 juin 2017, la Cour de justice a rejeté le recours de X._, retenant en particulier que les faits invoqués par celui-ci ne remplissaient pas les conditions posées par le droit de procédure cantonale à la reconsidération de décisions.
C.
Agissant par la voie du recours en matière de droit public et celle, subsidiaire, du recours constitutionnel, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, d'annuler l'arrêt de la Cour de justice du 27 juin 2017 et de renvoyer la cause à " l'instance cantonale ", afin qu'elle rende une nouvelle décision. Il se plaint d'établissement inexact des faits et de violation du principe de la proportionnalité.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal et le Secrétariat d'Etat aux migrations renoncent à se déterminer. X._ a encore fait parvenir au Tribunal fédéral un courrier rédigé sans l'aide de son avocat.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 2.1 p. 397).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et, partant, que la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332 et les références citées).
En l'occurrence, l'arrêt entrepris confirme un jugement rendu sur recours contre une décision par laquelle l'Office cantonal n'est pas entré en matière sur une demande de reconsidération, faute de modification notable des circonstances de fait. En invoquant une modification notable de l'état de fait depuis la dernière décision entrée en force le concernant, le recourant se prévaut de manière soutenable de l'art. 8 CEDH pour prétendre demeurer en Suisse auprès de ses deux enfants mineurs de nationalité suisse (<ref-law>). Cette relation familiale étant potentiellement de nature à lui conférer un droit à l'octroi d'une autorisation de séjour, son recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF. Le recours en matière de droit public étant ouvert, le recours constitutionnel subsidiaire formé par le recourant est par conséquent irrecevable (<ref-law> a contrario).
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF), et dans les formes prescrites (<ref-law>), par le destinataire de l'arrêt entrepris qui a qualité pour recourir (cf. <ref-law>), le recours est partant recevable.
2.
Dans un premier grief, le recourant se plaint de ce que la Cour de justice a procédé à un établissement inexact des faits.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire (<ref-ruling> consid. 2.4 p. 314), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 4.2 p. 234). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 5.1 p. 356). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. Le recourant estime que la Cour de justice n'a pas pris en compte des faits qui ressortent pourtant du jugement du Tribunal administratif de première instance, c'est-à-dire son "évolution positive" dont la mère de ses enfants avait témoigné, ainsi que la situation médicale et scolaire de son fils aîné. Il est en outre d'avis que l'autorité précédente ne pouvait pas passer sous silence le fait qu'il effectuait des stages auprès de deux entreprises et qu'il donnait entière satisfaction dans l'accomplissement de ses fonctions. Il conclut en relevant que dans la mesure où il s'agit de faits susceptibles d'influer sur le sort de la cause, il doivent être retenus.
2.3. En premier lieu, on peut douter que les explications du recourant quant à l'incidence que ces faits sont sensés avoir sur la cause soient suffisantes et remplissent les conditions posées par l'<ref-law>. En tout état de cause, on doit relever que ce n'est pas parce que le Tribunal administratif de première instance a retenu un fait que la Cour de justice doit elle aussi le considérer comme étant établi. Celle-ci bénéficie en effet, dans une procédure de droit des étrangers, d'un plein pouvoir d'examen qui lui permet de retenir les faits qu'elle estime pertinents (cf. art. 61 al. 1 let. b de la loi genevoise du 12 septembre 1985 sur la procédure administrative [LPA/GE; RSG E 5 10]; GRODECKI/JORDAN, Code annoté de procédure administrative genevoise, 2017, n. 770). Au demeurant, la Cour de justice a relevé que le recourant se prévalait de l'état de santé de son fils et n'a pas contesté les affects dépressifs allégués. L'autorité précédente a également mentionné la promesse d'engagement, ainsi que l'attachement et l'implication du recourant envers sa famille, si bien que même si l'on devait considérer que le grief d'établissement inexact des faits est suffisamment motivé, il faudrait de toute façon l'écarter, faute d'appréciation arbitraire de ces faits par la Cour de justice.
3.
3.1. En l'occurrence, la Cour de justice a rappelé la situation qui était celle du recourant en 2012, lorsqu'il a demandé à être mis au bénéfice d'une autorisation de séjour. Elle a ainsi constater qu'il se prévalait de l'intense relation qu'il entretenait avec son fils, mais qu'il ne bénéficiait d'aucun lien particulier en Suisse, si ce n'est avec son enfant et son ex-épouse, avec qui il était resté séparé durant plusieurs années avant de renouer une relation. La Cour de justice a également fait référence à l'arrêt 2C_994/2013 du 20 janvier 2014 et au fait que le Tribunal fédéral avait retenu que l'intérêt privé du recourant à poursuivre sa relation avec son fils, voire avec son ex-épouse en cas de remariage, n'était pas prépondérant par rapport à l'intérêt public à son éloignement de Suisse. La pesée des intérêts effectuée sous l'angle de l'art. 8 CEDH ne permettait pas d'aboutir à une autre conclusion: l'intérêt public à son éloignement l'emportait sur son intérêt privé à pouvoir vivre en Suisse avec sa famille.
Appliquant la procédure cantonale en matière de reconsidération de décisions administratives, et en particulier l'art. 48 al. 1 let. b LPA/GE, qui dispose que les demandes en reconsidération de décisions prises par les autorités administratives sont recevables lorsque les circonstances se sont modifiées dans une mesure notable depuis la première décision, la Cour de justice a ensuite examiné les faits nouveaux allégués par le recourant. Elle a ainsi pris en considération l'état de santé de l'ex-épouse, qui est suivie pour une maladie thyroïdienne, l'état de santé du fils aîné, qui présente des affects dépressifs et une importante vulnérabilité, la promesse d'engagement du recourant comme acheteur-vendeur dans un magasin, l'implication de celui-ci dans la vie familiale, ainsi que le fait qu'il ait obtenu l'autorité parentale conjointe sur ses deux enfants. L'autorité précédente a jugé que ces éléments ne constituaient pas des faits nouveaux suffisants pour permettre au recourant de prétendre à une autorisation de séjour, ajoutant de plus qu'il ne fallait pas perdre de vue que celui-ci était revenu en Suisse en toute illégalité.
3.2. Pour sa part, le recourant se plaint exclusivement d'une violation du principe de la proportionnalité. Il estime qu'il doit être tenu compte du temps écoulé depuis les infractions commises et que ses condamnations ne sauraient justifier indéfiniment une restriction de son droit au regroupement familial. Passant en revue tous les éléments de fait survenus depuis l'arrêt du Tribunal fédéral 2C_994/2013 du 20 janvier 2014, il considère qu'un éloignement à vie n'est pas envisageable au regard des infractions commises et que ces faits nouveaux, en particulier son bon comportement, les liens entretenus avec les membres de sa famille et sa volonté de s'amender doivent l'emporter sur l'intérêt public à le maintenir éloigné de Suisse.
3.3. En principe, même après un refus ou une révocation d'une autorisation de séjour, il est à tout moment possible de demander l'octroi d'une nouvelle autorisation, dans la mesure où, au moment du prononcé, l'étranger qui en fait la demande remplit les conditions posées à un tel octroi. Indépendamment du fait que cette demande s'intitule reconsidération ou nouvelle demande, elle ne saurait avoir pour conséquence de remettre continuellement en question des décisions entrées en force. L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision, c'est-à-dire lorsque l'étranger se prévaut de faits importants ou de preuves dont il n'avait pas connaissance dans la procédure précédente, qu'il lui aurait été impossible d'invoquer dans cette procédure pour des motifs juridiques ou pratiques ou encore qu'il n'avait alors pas de raison d'alléguer (<ref-ruling> consid. 2.1 p. 181; arrêt 2C_253/2017 du 30 mai 2017 consid. 4.3). La jurisprudence a retenu qu'un nouvel examen de la demande d'autorisation peut intervenir environ cinq ans après la fin du séjour légal en Suisse. Un examen avant la fin de ce délai n'est toutefois pas exclu, lorsque les circonstances se sont à ce point modifiées qu'il s'impose de lui-même (arrêt 2C_253/2017 du 30 mai 2017 consid. 4.3 et les références citées). Toutefois, ce n'est pas parce qu'il existe un droit à un nouvel examen de la cause que l'étranger peut d'emblée prétendre à l'octroi d'une nouvelle autorisation. Les raisons qui ont conduit l'autorité à révoquer, à ne pas prolonger ou à ne pas octroyer d'autorisation lors d'une procédure précédente ne perdent pas leur pertinence. L'autorité doit toutefois procéder à une nouvelle pesée complète des intérêts en présence, dans laquelle elle prendra notamment en compte l'écoulement du temps. Il ne s'agit cependant pas d'examiner librement les conditions posées à l'octroi d'une autorisation d'établissement, comme cela serait le cas lors d'une première demande d'autorisation, mais de déterminer si les circonstances se sont modifiées dans une mesure juridiquement pertinente depuis la révocation de l'autorisation, respectivement depuis le refus de son octroi ou de sa prolongation (arrêt 2C_253/2017 du 30 mai 2017 consid. 4.4 et les références citées).
3.4. Sur le vu de ce qui précède, il n'est par conséquent pas pertinent que le recourant n'ait pas invoqué l'application arbitraire du droit de procédure cantonal pour critiquer le rejet de son recours contre sa demande de reconsidération. On doit en effet considérer qu'il fait valoir des faits nouveaux à l'appui d'une nouvelle demande de regroupement familial fondée sur l'art. 8 CEDH et procéder à un examen de la proportionnalité de la mesure en cause en prenant en compte les nouveaux faits allégués.
4.
4.1. Un étranger peut se prévaloir de l'art. 8 par. 1 CEDH (et de l'art. 13 Cst.), qui garantit le droit au respect de la vie privée et familiale, pour s'opposer à l'éventuelle séparation de sa famille pour autant qu'il entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (<ref-ruling> consid. 2.1 p. 336 et les références citées).
Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est toutefois pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. La mise en oeuvre d'une politique restrictive en matière de séjour des étrangers constitue un but légitime au regard de cette disposition conventionnelle (<ref-ruling> consid. 2.1 p. 288; <ref-ruling> consid. 2.2.1 p. 156).
Le refus d'octroyer une autorisation de séjour fondé sur l'art. 8 par. 2 CEDH ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 2.2 p. 147; <ref-ruling> consid. 4.3 p. 381). Cette condition correspond aux exigences de l'art. 96 LEtr (<ref-ruling> consid. 4.3 p. 151). Lors de l'examen de la proportionnalité, il y a lieu de prendre en considération la gravité de l'éventuelle faute commise par l'étranger, la durée de son séjour en Suisse, son degré d'intégration, ainsi que le préjudice qu'il aurait à subir avec sa famille du fait de l'expulsion, respectivement du refus d'accorder ou de prolonger une autorisation de séjour (<ref-ruling> consid. 2.4 p. 149; <ref-ruling> consid. 4.3 p. 381 s.).
4.2. En l'occurrence, la Cour de justice a rappelé que le recourant avait été condamné à de nombreuses reprises à la fin des années 2000, notamment à deux ans et demi de peine privative de liberté pour brigandage et vol le 8 décembre 2008. La Cour correctionnelle qui avait jugé le recourant, et dont le jugement a été confirmé sur recours le 17 avril 2009, avait retenu une lourde faute de la part du recourant, celui-ci ayant agressé une personne âgée après un prélèvement d'argent auprès d'une banque pour lui dérober un montant de 5'000 francs. L'infraction de brigandage est une infraction contre l'intégrité corporelle envers laquelle le Tribunal fédéral se montre particulièrement rigoureux (cf. <ref-ruling> consid. 5.3 p. 126). De plus et même si ce n'est pas exactement la situation du recourant, on rappellera que selon la jurisprudence Reneja (<ref-ruling>) - qui demeure valable sous l'empire de la LEtr (<ref-ruling> consid. 2.3 p. 148; <ref-ruling> consid. 4.4 p. 382 s.) - applicable au conjoint étranger d'un ressortissant suisse, une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en principe, il y a lieu de refuser l'autorisation de séjour, quand il s'agit d'une première demande d'autorisation ou d'une requête de prolongation d'autorisation déposée après un séjour de courte durée. Cette limite de deux ans ne constitue pas une limite absolue et a été fixée à titre indicatif (cf. <ref-ruling> consid. 2.3 p. 148). Le nombre et la gravité des infractions commises, ainsi que la culpabilité du recourant, amènent à retenir que les arguments d'intérêt public en faveur de l'éloignement de Suisse du recourant étaient clairs lors du dernier rejet de sa demande d'octroi d'autorisation de séjour et sont toujours d'actualité.
S'il ne ressort pas de l'arrêt entrepris que le recourant aurait commis des infractions durant ces dernières années (à tout le moins depuis 2012; cf. <ref-law>), celui-ci se trouvait cependant en détention du mois de juillet 2013 au 19 novembre 2013, avec un délai d'épreuve d'une année. Il ne saurait donc se prévaloir de son bon comportement durant cette période, dès lors que durant l'exécution de sa peine, il est de toute façon attendu d'un délinquant qu'il se comporte de manière adéquate (<ref-ruling> consid. 5.5.2 p. 128). De plus, on ne saurait perdre de vue que le recourant a fait l'objet de plusieurs décisions de renvoi, la première lui imposant de quitter le territoire suisse en 2001 déjà. Si par la suite il a obtenu une autorisation de séjour et régularisé son statut, dès la perte de celui-ci, il y est encore demeuré illégalement durant plusieurs années. Ce séjour illégal relativise d'ailleurs grandement les quelques quatorze ans passé par le recourant sur le territoire helvétique avant son départ en janvier 2015. En outre, après quelques mois passés en Algérie durant cette année, il est revenu vivre illégalement auprès de sa famille, mettant ainsi les autorités devant le fait accompli et portant atteinte au principe de l'égalité de traitement par rapport aux nombreux étrangers qui respectent les procédures établies pour obtenir un titre de séjour en Suisse (arrêts 2C_616/2012 du 1er avril 2013 consid. 1.4.2).
Il n'est pas contesté que le recourant présente un important intérêt à demeurer en Suisse, pays dans lequel se trouve sa compagne et ses enfants. Toutefois, cet intérêt privé ne saurait en l'occurrence l'emporter sur l'intérêt public à maintenir le recourant éloigné de Suisse, même en prenant en compte une éventuelle maladie de sa compagne, qui n'est au demeurant pas clairement établie, ou de son fils, qui présente des "affects dépressifs" dont il ne ressort pas non plus de l'arrêt entrepris qu'ils soient médicalement établis. En tout état de cause, cet enfant semble être pris en charge en Suisse, pays dans lequel se trouve sa mère. On ajoutera que les affects invoqués sont essentiellement dus à la situation familiale chaotique dont le recourant est en majeure partie responsable. Même si un retour dans son pays d'origine s'avère évidemment difficile pour le recourant, il n'est aucunement insurmontable. Ce dernier a vécu durant de nombreuses années en Algérie et en maîtrise donc la langue. Rien n'indique qu'il ne pourrait pas y trouver une activité professionnelle. Il ne fait par ailleurs pas valoir une intégration particulièrement réussie en Suisse, que ce soit sur le plan social ou professionnel. De plus, il pourra continuer de voir sa compagne et ses enfants, que ce soit lors de voyages en Suisse, ou lors de visites de sa famille en Algérie. Celle-ci y était d'ailleurs retournée à deux reprises en 2015, lors des quelques mois durant lesquels le recourant y a séjourné.
4.3. En définitive, on doit retenir que les condamnations et la culpabilité du recourant sont à ce point importantes et graves que le fait que l'entier de sa famille se trouve en Suisse ne suffit pas à qualifier la mesure d'éloignement de disproportionnée. L'écoulement du temps depuis les condamnations ne saurait conduire à un autre résultat, étant rappelé que le recourant a purgé sa peine durant cette période et qu'en définitive, il n'a quitté la Suisse que durant quelques mois.
5.
Sur le vu des considérants qui précèdent, le recours en matière de droit public est rejeté. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande d'assistance judiciaire est rejetée.
4.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal de la population et des migrations et à la Cour de justice de la République et canton de Genève, Chambre administrative, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 28 novembre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette