Faits : A. A.X._, ressortissant turc né en 1970, est le père de trois enfants, B.X._, née en 1994, C.X._, né en 1997 et D.X._, né en 2002, issus d'une première union dissoute dans son pays d'origine. La garde de ses trois enfants lui a été confiée. L'intéressé est entré en Suisse le 8 janvier 2008 pour y déposer une demande d'asile. Le 9 avril 2009, il a épousé E.X._, ressortissante portugaise née en 1959 et mère d'une fille issue d'une précédente union. A.X._ a, de ce fait, obtenu une autorisation de séjour EU/AELE au titre de regroupement familial. Le 5 février 2010, les époux ont annoncé avoir quitté F._ (FR) pour s'installer à G._ (FR). Le 18 février 2011, A.X._ a requis une autorisation de séjour pour regroupement familial en faveur de ses trois enfants B.X._, C.X._ et D.X._. Dans le cadre de l'instruction de cette requête, il est apparu que l'appartement à G._ était trop petit pour loger une famille de six personnes. Le 12 mars 2012, A.X._ a annoncé un changement d'adresse à H._ (FR) de toute la famille, soit ses trois enfants, son épouse et la fille de celle-ci. Les enfants de l'intéressé sont entrés en Suisse le 26 mai 2012 et ont obtenu les autorisations requises. Le 31 juillet 2012, A.X._ a annoncé un nouveau changement d'adresse de toute la famille à G._, dans le même appartement qui avait été jugé trop petit pour accueillir six personnes. Instruisant les conditions de séjour de A.X._, le Service de la population et des migrants (ci-après: le Service cantonal) a entendu les époux le 19 février 2013. Il est apparu que les enfants de l'intéressé vivaient en réalité de manière continue à H._, où travaillait leur père. A.X._ y disposait d'une chambre et y vivait "le plus clair de son temps", notamment les week-ends lorsqu'il finissait tard son travail. Vu l'activité professionnelle du mari, le couple ne prenait ses repas en commun que le lundi et ne passait pas le dimanche ensemble. L'épouse a par ailleurs admis qu'elle n'avait jamais habité à H._. Elle habitait à G._ et n'envisageait pas de déménager dès lors que sa fille était scolarisée dans cette commune. Les époux se sont séparés le 25 avril 2013. A.X._ a annoncé avoir emménagé dans un appartement, sis à la route ****, à Fribourg. Le 3 juin 2013, l'intéressé a informé le Service cantonal que le couple s'était réconcilié. Le même jour, l'épouse a indiqué qu'aucune réconciliation n'était envisageable. Le 26 juin 2013, le Service cantonal a annoncé à A.X._ son intention de refuser le renouvellement de son autorisation de séjour et de celles de ses trois enfants et de prononcer leur renvoi de Suisse. B. Par décision du 10 janvier 2014, après avoir entendu l'intéressé, le Service cantonal a refusé de renouveler les autorisations de séjour de A.X._ et de ses deux enfants mineurs, C.X._ et D.X._. Il a prononcé leur renvoi de Suisse. Par une autre décision du même jour, le Service cantonal a refusé de prolonger l'autorisation de séjour de B.X._, désormais majeure, et a prononcé son renvoi de Suisse. Les intéressés ont recouru devant la Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) contre les décisions précitées. Le 13 mai 2014, le Tribunal cantonal a procédé à l'audition de A.X._. Il en est ressorti que l'intéressé était incapable de s'exprimer, même de manière basique, en français. Depuis son arrivée en Suisse, il n'avait pas suivi de cours de français ou d'allemand. L'avocat de l'intéressé a indiqué en outre que, depuis environ un mois, les époux avaient repris une vie commune dans l'appartement, sis à la route ****, à Fribourg. Les trois enfants de A.X._ ainsi que la fille de son épouse résidaient également dans cet appartement. Après avoir joint les causes, le Tribunal cantonal a rejeté les recours formés contre les décisions du Service cantonal, par arrêt du 16 juillet 2014. C. A.X._ ainsi que ses enfants C.X._, D.X._ et B.X._, forment un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 16 juillet 2014. Ils concluent principalement à la constatation de la véracité de l'union conjugale entre A.X._ et son épouse depuis le 9 avril 2009. Subsidiairement, ils demandent l'annulation de l'arrêt entrepris et le renvoi de la cause à l'autorité précédente pour complément d'instruction. Ils requièrent en outre l'annulation des décisions du Service cantonal et sollicitent l'octroi de l'assistance judiciaire. Le Tribunal cantonal et l'Office fédéral des migrations, devenu le Secrétariat d'Etat aux migrations depuis le 1er janvier 2015, concluent au rejet du recours. Le Service cantonal se rallie aux considérants de l'arrêt entrepris. Le 10 novembre 2014, A.X._ a produit les photos de son mariage avec E.X._. Par ordonnance présidentielle du 19 septembre 2014, le Tribunal fédéral a accordé l'effet suspensif au recours. Le 9 octobre 2014, le Tribunal fédéral a renoncé provisoirement à demander une avance de frais et a informé les intéressés qu'il serait statué ultérieurement sur leur demande d'assistance judiciaire.