Faits :
A.
A.a. A.A._, ressortissant portugais, né en 1965, aurait, selon ses propres dires, vécu à Genève de 1989 à 1997, pour ensuite rentrer au Portugal pour une année. Le 23 août 1996, la SUVA lui a octroyé une rente d'invalidité de 25 % à partir du 1er août 1991 à la suite d'un accident non professionnel, qu'il continuait à percevoir en juin 2019. L'intéressé serait revenu s'établir en Suisse en 1999 et aurait été mis au bénéfice d'une autorisation de courte durée de 2003 à juillet 2005. Il a quitté son domicile à Genève entre la fin de l'année 2007 et le début de l'année 2008 pour s'installer à Morges, dans l'appartement de sa compagne, C._, citoyenne portugaise, titulaire d'une autorisation d'établissement, qui avait donné naissance à leur fils B.A._, en 2006. L'enfant a obtenu une autorisation d'établissement, dérivant de celle de sa mère.
A.b. A.A._ a annoncé son arrivée en Suisse le 14 août 2008 au bureau des étrangers de la commune de Morges. Il a indiqué qu'il était entré dans ce pays le 30 juin 2008 en provenance du Portugal, afin de travailler dès cette date, pour une durée maximale de trois mois, comme manutentionnaire à 100 %.
Le 18 août 2008, le Service de la population du canton de Vaud (ci-après: le Service de la population) a informé l'employeur de A.A._ que ce dernier n'avait pas besoin de bénéficier d'un titre de séjour, puisqu'il occupait un emploi salarié d'une durée inférieure à trois mois.
Le 17 novembre 2008, l'intéressé a sollicité la délivrance d'une autorisation de séjour, en faisant valoir qu'il avait été engagé à partir de cette date, pour une durée indéterminée, comme aide-monteur à plein temps. Le Service de la population lui a délivré une autorisation de courte durée valable jusqu'au 1er septembre 2009.
A.A._ s'est trouvé en incapacité de travail totale à partir du 28 avril 2009, après avoir été victime d'un accident. Dès cette date et jusqu'au printemps 2010, il a touché des indemnités journalières de la SUVA. En conséquence, le Service de la population lui a octroyé une nouvelle autorisation de courte durée valable jusqu'au 1er mars 2010, qu'il a ensuite prolongée d'une année, pour que l'intéressé puisse suivre son traitement médical en Suisse.
Le 27 janvier 2011, A.A._ a demandé la prolongation de son autorisation de courte durée, respectivement sa transformation en autorisation de séjour. Il a produit un contrat de travail à teneur duquel il occupait, depuis le 1er décembre 2010, un poste d'employé d'exploitation à un taux variant entre 40 et 60 % dans un restaurant. Compte tenu de cette nouvelle activité lucrative, le Service de la population l'a mis au bénéfice d'une autorisation de séjour d'une durée de cinq ans, valable jusqu'au 26 janvier 2016.
A.c. Par décision du 7 avril 2011, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'Office AI) a constaté que la capacité de travail de l'intéressé était nulle dans son activité habituelle de manutentionnaire, mais qu'elle devait en revanche être considérée comme totale à compter du mois de juin 2010 dans une activité adaptée à ses limitations fonctionnelles. Il lui a ainsi accordé une rente entière d'invalidité, limitée à la période du 1er mai au 31 août 2010. Par la suite, l'intéressé a déposé une nouvelle demande de prestations, que l'Office AI a rejetée le 8 octobre 2013, du fait que son état de santé n'avait pas évolué.
A.d. A.A._ et C._ se sont séparés en septembre 2011. Au mois de janvier 2012, ils ont convenu d'une autorité parentale conjointe sur leur fils B.A._, avec attribution du droit de garde au père, tout en octroyant un libre et large droit de visite à la mère, à exercer d'entente avec le père. Il était en outre convenu que la mère contribuerait à l'entretien de l'enfant par le versement d'une pension mensuelle de 450 fr. jusqu'à l'âge de douze ans révolus et de 550 fr. depuis lors et jusqu'à sa majorité, son indépendance économique ou la fin de sa formation, éventuelles allocations familiales en sus. Cette convention a été ratifiée le 3 octobre 2012 par la Justice de paix du district de Morges.
Par la suite, A.A._ a emménagé à Yverdon-les-Bains avec son fils.
A.e. L'intéressé bénéficie des prestations du revenu d'insertion (RI), pour lui et pour son fils, en complément de ses revenus.
A.f. Le 27 juin 2015, l'intéressé a conclu un contrat avec la fondation Le Relai, à Morges, devant lui permettre d'occuper des postes d'entraînement à la reprise de la vie active au sein des différentes entreprises d'insertion de la fondation, grâce à un travail sur appel avec des horaires adaptés, rémunéré 10 fr. brut de l'heure. Le contrat avec cette fondation, qui oeuvre pour l'insertion sociale et professionnelle d'adultes en difficulté, était initialement conclu pour une année.
A.g. Le 25 novembre 2015, A.A._ a demandé la prolongation de son autorisation de séjour au Service de la population, respectivement sa transformation en autorisation d'établissement.
Le 20 juillet 2016, le Service de la population a refusé d'octroyer une autorisation d'établissement à l'intéressé, au motif principal que celui-ci émargeait à l'aide sociale. Il a renouvelé son autorisation de séjour pour une année, en précisant qu'il effectuerait ensuite une nouvelle analyse de sa situation. Il l'a enjoint à tout entreprendre pour gagner son autonomie financière dans l'intervalle.
B.
Par décision du 5 mars 2018, le Service de la population, après avoir entendu l'intéressé, a refusé de renouveler son autorisation de séjour et prononcé son renvoi de Suisse. Il a considéré que celui-ci ne pouvait plus se prévaloir de la qualité de travailleur dans la mesure où il exerçait seulement une activité accessoire, qu'il ne disposait pas d'un droit de demeurer en Suisse puisqu'il ne présentait pas d'incapacité de travail permanente, ni ne pouvait prétendre à une autorisation de séjour pour personne sans activité économique du moment qu'il émargeait à l'assistance publique. Il a aussi relevé que la situation de l'intéressé n'était pas constitutive d'un cas de rigueur et que le refus d'autorisation de séjour était conforme à l'art. 8 de la Convention du 4 novembre 1950 de sauvegarde des droits de l'homme et des libertés fondamentales (CEDH; RS 0.101).
L'intéressé a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). En cours de procédure, il a informé le Tribunal cantonal qu'il participait, depuis le 1er avril 2018 et jusqu'au 30 septembre 2019, à un programme de coaching proposé par le Centre Social Régional et avait réussi, au mois de décembre 2018, une formation d'aide-jardinier sur 66 heures qu'il avait suivie à Genève. Par arrêt du 25 juin 2019, le Tribunal cantonal a rejeté le recours de l'intéressé.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, le renouvellement de l'autorisation de séjour du premier. Ils requièrent également l'effet suspensif à leur recours et l'octroi de l'assistance judiciaire.
Par ordonnance du 25 juillet 2019, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Service de la population et le Tribunal cantonal renoncent à se déterminer. Le Secrétariat d'Etat aux migrations ne s'est pas prononcé.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (art. 29 al. 1 LTF) et contrôle librement la recevabilité des recours qui lui sont soumis (ATF 141 II 113 consid. 1 p. 116).
1.1. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral, ni le droit international ne donnent droit. En l'espèce, en sa qualité de ressortissant portugais et père d'un enfant titulaire d'une autorisation d'établissement UE/ALE, le recourant 1 peut en principe prétendre à un titre de séjour en Suisse, en vertu de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Dans cette mesure, le motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF ne lui est en principe pas opposable s'il recourt, comme en l'espèce, contre une décision lui refusant le droit de séjourner en Suisse. Un tel constat ne préjuge toutefois pas de l'issue du litige au fond (cf. ATF 131 II 339 consid. 1.2 p. 343; arrêts 2C_158/2019 du 12 avril 2019 consid. 1.1; 2C_1162/2014 du 8 décembre 2015 consid. 1.1).
1.2. Aux termes de l'art. 89 al. 1 LTF, la qualité pour former un recours en matière de droit public quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a); est particulièrement atteint par la décision ou l'acte normatif attaqué (let. b); et a un intérêt digne de protection à son annulation ou à sa modification (let. c). En l'occurrence, si le recourant 1, destinataire de l'arrêt attaqué ayant un intérêt digne de protection à son annulation ou à sa modification, a la qualité pour recourir devant le Tribunal fédéral, il n'en va pas de même du recourant 2. Celui-ci n'a en effet pas pris part à la procédure devant l'autorité précédente et n'a en l'espèce aucunement expliqué en quoi il aurait été privé de la possibilité de le faire (cf. ATF 134 II 45 consid. 2.2.3 p. 48; arrêt 2C_173/2017 du 19 juin 2017 consid. 1.2). Par conséquent, le recours est irrecevable en tant qu'il concerne le recourant 2.
1.3. Au surplus, s'agissant du recourant 1, le présent recours a été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF). Il est en outre dirigé contre une décision rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF), raisons pour lesquelles il est recevable.
2.
2.1. D'après l'art. 106 al. 1 LTF, le Tribunal fédéral applique le droit d'office. Conformément à l'art. 106 al. 2 LTF, il ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (ATF 142 I 99 consid. 1.7.2 p. 106; 141 I 36 consid. 1.3 p. 41).
2.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (ATF 142 I 155 consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; ATF 142 II 355 consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées.
3.
L'objet du litige porte uniquement sur le refus du renouvellement de l'autorisation de séjour du recourant 1 et ne remet pas (directement) en question l'autorisation d'établissement du recourant 2.
Cela étant, le fait que l'enfant mineur possède une autorisation d'établissement ne s'oppose pas à ce que ce dernier quitte le pays pour des raisons familiales lorsque, comme en l'espèce, le parent qui en a la garde ne dispose pas ou plus d'autorisation de séjour (cf. art. 25 al. 1, art. 301 al. 3 et art. 301a CC [RS 210]; ATF 143 I 21 consid. 5.4 p. 28; arrêt 2C_12/2018 du 28 novembre 2018 consid. 4.2 et les autres références citées). Si le recourant 2 doit suivre son père à l'étranger, son autorisation d'établissement prendra fin avec l'annonce de son départ de Suisse (art. 61 al. 1 let. a de la loi du 16 décembre 2005 sur les étrangers et l'intégration [LEI; RS 142.20]) et, en l'absence d'une telle annonce, après un séjour de six mois à l'étranger (art. 61 al. 2 LEI) (cf. arrêt 2C_12/2018 du 28 novembre 2018 consid. 4.2).
4.
Il convient tout d'abord d'examiner si le recourant 1, citoyen européen, remplit les conditions lui conférant la qualité de travailleur au sens de l'art. 6 Annexe I ALCP, au regard notamment de l'activité lucrative qu'il exerce auprès de la fondation Le Relai, respectivement s'il peut se prévaloir d'un "droit de demeurer" en Suisse conformément à l'art. 4 al. 1 annexe I ALCP ou s'il peut prétendre à une autorisation pour personne n'exerçant pas une activité lucrative au sens des art. 6 ALCP et 24 par. 1 annexe I ALCP.
4.1. En substance, l'art. 6 al. 1 annexe I ALCP prévoit que le travailleur salarié ressortissant d'une partie contractante qui occupe un emploi d'une durée égale ou supérieure à un an au service d'un employeur de l'Etat d'accueil reçoit un titre de séjour d'une durée de cinq ans au moins à dater de sa délivrance. Selon l'art. 6 al. 6 annexe I ALCP, le titre de séjour en cours de validité ne peut être retiré au travailleur salarié du seul fait qu'il n'occupe plus d'emploi, soit que l'intéressé ait été frappé d'une incapacité temporaire de travail résultant d'une maladie ou d'un accident, soit qu'il se trouve en situation de chômage involontaire dûment constatée par le bureau de main-d'oeuvre compétent. Lorsque les conditions sont remplies, les ressortissants d'une partie contractante et les membres de leur famille ont le droit de demeurer sur le territoire d'une autre partie contractante après la fin de leur activité économique (art. 4 Annexe I ALCP). En outre, selon l'art. 24 par. 1 annexe I ALCP, une personne ressortissant d'une partie contractante n'exerçant pas d'activité économique dans le pays de résidence reçoit un titre de séjour d'une durée de cinq ans au moins, à condition qu'elle prouve aux autorités nationales compétentes qu'elle dispose pour elle-même et les membres de sa famille de moyens financiers suffisants pour ne pas devoir faire appel à l'aide sociale pendant son séjour (let. a) et d'une assurance-maladie couvrant l'ensemble des risques (let. b). Pour le surplus, l'autorité précédente a de façon correcte et détaillée exposé le droit applicable (en particulier les art. 4 et 6 ALCP, les art. 2, 6 et 24 par. 1 annexe I ALCP, les art. 16 al. 1, 18 al. 2 et 3 et 23 al. 1 de l'ordonnance du 22 mai 2002 sur l'introduction de la libre circulation des personnes [OLCP; RS 142.203]) et la jurisprudence relative à la qualité de travailleur salarié (cf. ATF 141 II 1 consid. 2 p. 3 ss; 131 II 339 consid. 3 p. 344 ss; arrêts 2C_99/2018 du 15 mai 2018 consid. 4.2; 2C_567/2017 du 5 mars 2018 consid. 4; 2C_897/2017 du 31 janvier 2018 consid. 4), ainsi qu'au droit de demeurer en Suisse pour les personnes n'exerçant pas d'activité lucrative (cf. ATF 144 II 113 consid. 4.1 p. 116 s.; 142 II 35 consid. 5.1 p. 43 s.; 135 II 265 consid. 3.3 p. 269 s.), de sorte qu'il y est renvoyé.
4.2. En l'espèce, il ressort de l'arrêt attaqué que le séjour du recourant 1 en Suisse avant 2008 est seulement documenté par la décision de la SUVA susmentionnée du 23 août 1996 et par un extrait du Système d'information central sur la migration (SYMIC), qui indique un départ à l'étranger le 21 février 2005, alors qu'une autorisation de courte durée était en cours de validité. Le Tribunal cantonal relève ainsi que l'on ne connaît pas la durée exacte du séjour et la situation professionnelle du recourant en Suisse, avant que ce dernier annonce son arrivée et la prise d'une activité lucrative aux autorités du canton de Vaud à la date du 30 juin 2008. La durée de cette activité, de même que celle qu'il aurait exercé auprès d'un restaurant dès le 1er décembre 2010 ne ressortent pas de l'arrêt attaqué. On ignore donc si le recourant a occupé un emploi rémunéré pendant une année au moins depuis la fin juin 2008 et, partant, s'il a acquis la qualité de travailleur salarié au sens de l'ALCP. Cela étant, les questions qui précèdent peuvent rester indécises, dans la mesure où il ressort également de l'arrêt querellé que l'intéressé ne fait état d'aucune activité lucrative depuis plusieurs années, à l'exception de celle qu'il a commencée à la fondation Le Relai au mois de juin 2015 et qui se poursuit à l'heure actuelle. Toujours selon l'arrêt attaqué, ce travail vise à soutenir le recourant dans sa réinsertion professionnelle et n'a été exercé que quelques heures par mois, à savoir, en particulier, 33 heures en novembre 2015, 15 heures en mai 2017, 18 heures en septembre 2017, 10 heures en octobre 2017, 28 heures en février 2018 et 5 heures en mars 2018. Cette activité doit donc être qualifiée de marginale et d'accessoire et ne permet pas de retenir un statut de travailleur (cf. arrêts 2C_567/2017 du 5 mars 2018 consid. 4.2.1 s.; 2C_897/2017 du 31 janvier 2018 consid. 4.2.1 s.). En outre, le Tribunal cantonal relève à juste titre que même si le recourant 1 avait acquis le statut de travailleur, il l'aurait perdu faute de perspective réelle d'être engagé à nouveau dans un laps de temps raisonnable (cf. ATF 141 II 1 consid. 2.2.1 p. 4). En effet, il ressort des faits de l'arrêt entrepris qu'au moment de son prononcé, le recourant dépendait de l'aide sociale, que depuis juin 2015, il n'avait pas repris d'autre activité lucrative que celle exercée auprès de la fondation Le relai et qu'il avait déclaré en avril 2016 et novembre 2017 qu'en raison de son état de santé, il ne cherchait pas d'emploi, ni ne s'était inscrit à l'Office régional de placement. Comme le relève l'autorité précédente, le fait qu'il ait récemment achevé une formation d'aide jardinier et qu'il déploie des efforts pour rechercher un emploi, notamment par le biais du programme "Coaching familiy", ne lui est d'aucune aide sur ce point, puisqu'il a déjà bénéficié d'un délai plus que raisonnable à cet effet.
Sur le vu de ce qui précède, c'est à bon droit que l'autorité précédente a jugé que le recourant 1 ne pouvait pas (plus) se prévaloir du statut de travailleur pour prétendre à séjourner en Suisse.
4.3. Par ailleurs, le recourant 1 ne peut pas non plus prétendre au droit de demeurer en Suisse en vertu de l'art. 4 annexe I ALCP. En effet, selon les faits de l'arrêt entrepris, l'Office AI a retenu, en avril 2011, que le recourant présentait une pleine capacité de travail dans une activité adaptée dès le mois de juin 2010.
En outre, l'intéressé a trouvé un emploi dans un restaurant dès le 1er décembre 2010, pour une durée toutefois inconnue, et a été engagé dans la fondation Le Relai en juin 2015. On ne peut pas retenir qu'il a cessé d'occuper un emploi salarié en Suisse à la suite d'une incapacité permanente de travail, comme le requiert l'art. 2 par. 1 let. b du règlement (CEE) n° 1251/70 du 29 juin 1970, dans sa version au moment de la signature de l'Accord, auquel renvoi l'art. 4 par. 2 Annexe I ALCP.
4.4. Enfin, le recourant ne peut pas se prévaloir d'un droit à séjourner en Suisse pour les personnes n'exerçant pas d'activité lucrative (art. 24 annexe I ALCP). En effet, que l'on retienne la dépendance à l'aide sociale ou la perception de prestations complémentaires familiales, qu'il indique recevoir depuis avril 2018, le recourant ne dispose pas des moyens financiers suffisants pour ne pas faire appel à l'aide de l'Etat. La condition de l'art. 24 par. 1 let. a et 8 Annexe I ALCP n'est partant pas remplie (cf. ATF 135 II 265 consid. 3.6 p. 271 s.).
5.
Le recourant 1 ne conteste ce qui précède ni sous l'angle de la qualité de travailleur, ni sous celui d'une personne n'exerçant pas d'activité lucrative. Il invoque toutefois un droit à séjourner en Suisse, basé sur l'art. 3 al. 6 Annexe I ALCP, en lien avec son fils, sur lequel il a la garde exclusive.
5.1. Selon la jurisprudence, il découle de l'art. 3 al. 6 Annexe I ALCP, que les enfants d'un ressortissant d'une partie contractante qui exerce ou non, ou qui a exercé une activité économique sur le territoire de l'autre partie contractante ont le droit à la poursuite de leur séjour dans l'Etat d'accueil, afin d'y terminer leur formation, lorsque l'on ne peut raisonnablement pas exiger d'eux qu'ils retournent dans leur pays d'origine pour achever celle-ci (cf. ATF 142 II 35 consid. 4.1 p. 40 s.; 139 II 393 consid. 4.2 p. 399; arrêts 2C_870/2018 du 13 mai 2019 consid. 3.1; 2C_997/2015 du 30 juin 2016 consid. 2; arrêt de la Cour de justice des Communautés européennes [actuellement: Cour de justice de l'Union européenne; ci-après: la CJUE] du 15 mars 1989 C-389/87 et C-390/87 Echternach et Moritz, Rec. 1989-723 point 23). Le terme de formation précité comprend également la formation scolaire (cf. ATF 132 V 184 consid. 7.2 p. 194; arrêt 2C_820/2018 du 11 juin 2019 consid. 4.1; arrêt de la CJUE du 17 septembre 2002, Baumbast, C-413/99, Rec. p. I-7091, point 69). Cette jurisprudence implique que les enfants aient déjà commencé, dans le cadre de leur formation, à s'intégrer dans le pays d'accueil, ce qui a été nié pour des enfants en bas âge, même s'ils se trouvaient en garderie ou à l'école enfantine (cf. ATF 139 II 393 consid. 4.2.2 p. 399; arrêts 2C_870/2018 du 13 mai 2019 consid. 3.3.2).
Le parent, qui exerce la garde de l'enfant, a également un droit de séjour, indépendamment de ses moyens d'existence (cf. ATF 142 II 35 consid. 4.2 p. 41 s.; 139 II 393 consid. 3.3 p. 397 et les références citées).
5.2. En l'occurrence, il ressort des faits de l'arrêt attaqué que lorsque l'autorité précédente a statué, le fils du recourant 1 était âgé de 13 ans, qu'il était né et avait grandi en Suisse et qu'il devait en principe se trouver en neuvième année HarmoS (accord intercantonal du 14 juin 2007 sur l'harmonisation de la scolarité obligatoire; RS/VD 400.98). Il ne s'agit donc pas d'un enfant en bas âge, en début de scolarité, fréquentant une garderie ou l'école enfantine. Il approche de la fin de l'école obligatoire, laquelle compte onze années (cf. art. 6 HarmoS), et ne se trouve pas à un âge dans lequel un enfant vit essentiellement dans le cadre familial, ce qui permet de retenir qu'en principe, sous réserve de circonstances particulières, il pourra s'adapter sans difficultés à son nouvel environnement. Comme le relève d'ailleurs le Tribunal cantonal, le fils du recourant 1 se trouve au début de l'adolescence, période essentielle du développement personnel et scolaire où un soudain déplacement du centre de vie peut constituer un véritable déracinement et s'accompagner de grandes difficultés d'intégration (cf. arrêts 2C_647/2016 du 2 décembre 2016 consid. 3.4; 2C_997/2015 du 30 juin 2016 consid. 3.1; tous deux avec les références citées). Il ressort par ailleurs également de l'arrêt entrepris qu'un médecin pédiatre, dans un écrit du 6 avril 2018, a précisé qu'un départ de Suisse serait une source de stress majeur et compromettrait le développement de l'enfant. Dans ces circonstances, le fils du recourant 1 a le droit de terminer son école obligatoire en Suisse conformément à l'art. 3 al. 6 Annexe I ALCP et on ne peut raisonnablement pas exiger de lui qu'il retourne dans son pays d'origine - dans lequel il n'a jamais vécu - pour achever son école obligatoire.
Il ressort en outre de l'arrêt attaqué que le recourant 1 dispose de la garde exclusive de son fils, dont il s'est occupé dès sa naissance. La mère de l'enfant ne s'est acquittée que très irrégulièrement de la pension alimentaire et elle a déclaré le 9 novembre 2017 ne pas vouloir modifier la convention alimentaire et d'autorité parentale portant notamment sur la garde de leur fils, car c'est, selon elle, la solution la plus souhaitable pour celui-ci (art. 105 al. 2 LTF). Selon la jurisprudence, le recourant, qui assure effectivement la garde de son fils, dispose donc d'un droit, dérivé de l'art. 3 al. 6 Annexe I ALCP, à séjourner en Suisse auprès de celui-ci, indépendamment de ses moyens d'existence (cf. supra consid. 5.1), jusqu'à ce que son fils ait achevé son école obligatoire. Une telle solution est par ailleurs conforme à l'art. 9 par. 1 de la Convention relative aux droits de l'enfant du 2 novembre 1989 (CDE; RS 0.107) qui vise à éviter que l'enfant soit séparé de ses parents.
6.
6.1. Il suit de ce qui précède, que l'autorité précédente a retenu à tort que le recourant 1 ne remplissait pas les conditions lui permettant de bénéficier d'une autorisation de séjour selon l'art. 3 al. 6 Annexe I ALCP. Le recours doit donc être admis, dans la mesure de sa recevabilité, sans qu'il soit besoin d'examiner les autres griefs invoqués par le recourant 1. L'arrêt attaqué est annulé et la cause renvoyée au Service de la population pour qu'il octroie à celui-ci une prolongation de son autorisation de séjour.
6.2. Compte tenu de l'issue du litige, il ne sera pas perçu de frais judiciaires (art. 66 al. 4 LTF). La demande d'assistance judiciaire devient donc sans objet. Ayant obtenu gain de cause avec l'aide d'une représentante professionnelle qui n'est pas avocate (cf. art. 9 du règlement du 31 mars 2006 sur les dépens alloués à la partie adverse et sur l'indemnité pour la représentation d'office dans les causes portées devant le Tribunal fédéral [RS 173.110.210.3]; arrêt 2C_95/2019 du 13 mai 2019 consid. 4), le recourant 1 a droit à des dépens (art. 68 al. 1 et 2 LTF), à charge du canton de Vaud.
6.3. La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure devant lui (cf. art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, dans la mesure où il est recevable. L'arrêt du 25 juin 2019 du Tribunal cantonal du canton de Vaud est annulé.
2.
La cause est renvoyée au Service de la population du canton de Vaud pour nouvelle décision dans le sens des considérants.
3.
Il n'est pas perçu de frais judiciaires.
4.
Une indemnité de 2'000 fr., à payer au recourant 1 à titre de dépens, est mise à la charge du canton de Vaud.
5.
La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais et dépens de la procédure antérieure.
6.
Le présent arrêt est communiqué au représentant des recourants, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 3 décembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier