Faits : A. X._, ressortissant brésilien né en 1980, a obtenu une autorisation de séjour UE/AELE en Suisse valable du 14 mars 2011 au 5 janvier 2016 au moyen d'un faux passeport portugais. Il était également en possession d'un faux permis de conduire de ce pays. Sur dénonciation, l'intéressé et sa compagne, A.Y._, ressortissante brésilienne née en 1988 au bénéfice d'une autorisation d'établissement en Suisse et mère de B.Y._ (de nationalité suisse, né en 2007), ont été arrêtés par la police le 25 avril 2012 à la suite du brigandage d'une station-service intervenu le 21 février 2012. X._ a été placé en détention préventive le 26 avril 2012 et, par jugement du 14 décembre 2012, a été condamné à 36 mois de peine privative de liberté, dont douze mois ferme, assortie d'un délai d'épreuve de cinq ans pour brigandage, faux dans les certificats étrangers et séjour illégal. Par le même jugement, A.Y._ a quant à elle été condamnée à une peine pécuniaire de 180 jours-amende avec sursis, assortie d'un délai d'épreuve de trois ans pour complicité de brigandage. Le 8 janvier 2013 est né C.Y._, enfant commun des intéressés. Le 18 avril 2013, X._ est sorti de prison et, le 7 juin 2013, il a requis la délivrance d'une attestation en vue de mariage avec A.Y._ auprès de l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal). Par ordonnance pénale du 30 octobre 2013, l'intéressé a été condamné à une peine pécuniaire de 90 jours-amende pour appropriation illégitime et à une amende de 400 fr. notamment pour une infraction à la LStup (RS 812.121). Le 11 juillet 2014 est né le second fils du couple, D.Y._. Faute de s'être acquitté de l'amende du 30 octobre 2013, l'intéressé a été condamné à une peine privative de liberté de substitution de 90 jours qu'il a purgée à partir du 22 juillet 2016. B. Par décision du 11 mai 2016, l'Office cantonal a révoqué ( recte refusé d'octroyer) l'autorisation de séjour de X._ et a refusé de lui délivrer une attestation en vue de mariage et une autorisation de séjour. Le 9 juin 2016, X._, A.Y._, leur deux enfants communs et le fils de l'intéressée ont tous contesté cette décision auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) qui, par jugement du 30 mars 2017, a rejeté le recours, déniant notamment la qualité pour recourir à B.Y._. Tous les cinq ont interjeté recours le 17 mai 2017 auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 9 janvier 2018, la Cour de justice a partiellement admis le recours et annulé le jugement du Tribunal administratif de première instance en tant qu'il déclarait irrecevable le recours de B.Y._. Elle l'a rejeté pour le surplus. C. Agissant par la voie du recours en matière de droit public, X._ et A.Y._, celle-ci agissant en plus pour ses trois enfants mineurs, demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire et l'effet suspensif, d'annuler l'arrêt de la Cour de justice du 9 janvier 2018 et de mettre X._ au bénéfice d'une autorisation de séjour. Ils se plaignent de violation du droit international. Par ordonnance du 19 février 2018, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Tribunal cantonal persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal et le Secrétariat d'Etat aux migrations renoncent à se déterminer.