Faits :
A.
A.a. Ressortissant portugais né le 5 mai 1978, A._ est arrivé dans le canton de Vaud le 1er avril 2013. Il avait déjà vécu en Suisse une dizaine d'années pendant son enfance. Il a obtenu une autorisation de séjour UE/AELE le 1er juin 2013, après avoir été engagé en tant que vendeur au sein d'un supermarché à compter de cette date. Cette activité ayant cessé le 31 juillet 2013, l'intéressé a effectué différentes missions temporaires pendant le reste de l'année pour le compte d'une agence de placement, avant de travailler en qualité d'employé de restauration dans un hôpital du 1er janvier 2014 au 16 septembre 2014. Il s'est ensuite inscrit à l'Office régional de placement à compter du mois d'octobre 2014 et a bénéficié dès lors des prestations de l'assurance-chômage. Ses indemnités de chômage ont été complétées par le revenu d'insertion.
Selon un rapport de dénonciation de la Police de Lausanne du 6 novembre 2014, A._ a été dénoncé quatre fois entre 2004 et 2014 pour infraction à la loi fédérale sur les stupéfiants.
A.b. Dans l'intervalle, le 20 novembre 2013, A._ a annoncé l'arrivée de sa compagne B._, ressortissante portugaise née le 5 juin 1985, et de leur fils C._, né le 7 octobre 2007. Ces derniers ont reçu une autorisation de séjour UE/AELE au titre du regroupement familial.
A.c. Après avoir, dans un premier temps, fréquenté l'école publique ordinaire, C._ a bénéficié, à partir de 2018 au moins, d'un enseignement spécialisé. Celui-ci est dispensé au sein d'une classe à effectif réduit et encadré par divers thérapeutes.
A.d. En 2018, A._ et B._ ont requis la prolongation de leurs autorisations de séjour, ainsi que celle de leur enfant (cf. <ref-law>), respectivement la transformation de ces permis en autorisations d'établissement. Le dossier du Service de la population du canton de Vaud (ci-après: le Service cantonal) contient une décision du 15 octobre 2018, selon laquelle l'autorité précitée aurait refusé de transformer lesdites autorisations de séjour en autorisations d'établissement et aurait rendu les intéressés attentifs au fait que leur dépendance à l'aide sociale pourrait conduire à un non-renouvellement de leur droit de séjourner en Suisse. Il ne ressort toutefois pas de ce document que cette décision aurait été notifiée. Par courrier du 15 avril 2019, le Service cantonal a informé les intéressés qu'il envisageait de rejeter leur requête.
A.e. Selon un décompte du mois de septembre 2019, A._ et sa famille ont bénéficié du revenu d'insertion pour un montant total de 159'185 fr. depuis le mois de septembre 2014. Le 21 janvier 2019, l'intéressé a fait l'objet d'un acte de défaut de biens pour un montant de 429 fr. Depuis le mois d'août 2019, sa compagne, B._, est employée par une société de nettoyage à raison d'une quarantaine d'heures par mois.
B.
Par décision du 6 janvier 2020, le Service cantonal a refusé de renouveler les autorisations de séjour d'A._, de B._, ainsi que de C._ (cf. <ref-law>), respectivement de les transformer en autorisations d'établissement.
Par acte du 27 janvier 2020, A._, B._ et leur fils, C._, ont formé recours auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), en concluant à l'annulation de la décision du 6 janvier 2020 du Service cantonal et à la prolongation de leurs autorisations de séjour.
Le Tribunal cantonal a rejeté le recours par arrêt du 14 septembre 2020.
C.
A._ (ci-après: le recourant 1), B._ (ci-après: la recourante 2), ainsi que C._ (ci-après: le recourant 3), agissant en commun, déposent un recours en matière de droit public au Tribunal fédéral à l'encontre de l'arrêt cantonal précité. A titre préalable, ils demandent à être autorisés à demeurer en Suisse à titre provisionnel dans l'attente de la décision du Tribunal fédéral. Sur le fond, ils concluent à l'annulation de la décision du Service cantonal, en tant qu'elle a été confirmée par le Tribunal cantonal, ainsi qu'à l'octroi d'autorisations de séjour "ALCP" pour chacun des membres de la famille. Ils requièrent en tout état de cause le bénéfice de l'assistance judiciaire.
Par ordonnance du 30 septembre 2020, le Président de la Cour de céans a accordé l'effet suspensif au recours.
Le Tribunal cantonal a renoncé à se déterminer sur le recours, se référant aux considérants de son arrêt. Le Service cantonal a fait de même. Invité à se déterminer sur le recours, le Secrétariat d'État aux migrations n'a pas déposé d'observations.

Considérant en droit :
1.
1.1. La décision attaquée, par laquelle le Tribunal cantonal refuse de renouveler les autorisations de séjour UE/AELE des recourants, est une décision finale (<ref-law>). Elle a été rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Sur le principe, elle peut donc faire l'objet d'un recours en matière de droit public, pour autant qu'aucune exception envisagée à l'<ref-law> n'entre en ligne de compte
1.2. Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral, ni le droit international ne donnent droit. En l'espèce, en leur qualité de ressortissants portugais, les recourants prétendent de manière plausible avoir un droit potentiel au renouvellement de leurs autorisations de séjour en vertu de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). Dans cette mesure, le motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF ne leur est pas opposable.
1.3. Pour le reste, le présent recours en matière de droit public a été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il est donc recevable.
2.
2.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral de même que celle du droit international. Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral ne connaît toutefois de la violation des droits fondamentaux que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 3 p. 237).
2.2. Le Tribunal fédéral statue généralement sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Au demeurant, aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>). Les faits notoires ne peuvent en revanche pas être considérés comme des faits nouveaux puisqu'il n'est pas nécessaire de les alléguer ni de les prouver et le Tribunal fédéral peut les prendre en considération d'office (cf. notamment arrêts 2C_80/2020 du 15 octobre 2020 consid. 2; 1C_91/2018 du 29 janvier 2019 consid. 2.1; 2C_226/2015 du 13 décembre 2015 consid. 1.2).
2.3. En l'occurrence, les recourants ne formulent aucun grief à l'encontre de l'établissement des faits opéré par le Tribunal cantonal. Leur mémoire contient tout au plus une partie intitulée " En faits " qui présente certains éléments de fait ne ressortant pas de l'arrêt attaqué. Cette section du recours se fonde toutefois sur des pièces produites en annexe du mémoire et n'expose nullement en quoi les conditions qui viennent d'être rappelées seraient réunies. Partant, le Tribunal fédéral n'en tiendra pas compte et statuera uniquement sur la base des faits retenus dans l'arrêt entrepris.
3.
Les recourants contestent le non-renouvellement de leurs autorisations de séjour. Ils ne prétendent pas - à juste titre devant la Cour de céans - que l'arrêt cantonal violerait la législation interne, qui ne leur accorde aucun droit à la prolongation de leurs autorisations (cf. art. 33 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration [LEI, RS 142.20] et, notamment, <ref-ruling> consid. 3.2). Ils n'affirment pas non plus que l'autorité inférieure leur aurait dénié à tort la qualité de travailleurs au sens de l'<ref-law> et, partant, un droit à continuer à séjourner en Suisse à ce titre. En l'occurrence, il ressort de l'arrêt attaqué que le recourant 1 n'a plus exercé d'activité lucrative régulière en Suisse depuis la fin de l'année 2014 et que sa compagne, la recourante 2, réalise un revenu mensuel de 900 fr. seulement, en cumulant deux contrats de travail pour un taux d'activité de moins de 50%. C'est donc à bon droit que le Tribunal cantonal a considéré qu'aucun des deux intéressés ne pouvaient revendiquer la qualité de travailleur au sens de l'ALCP, laquelle implique l'exercice d'une activité lucrative réelle et effective, à l'exclusion d'une activité si réduite qu'elle doit être qualifiée de purement marginale et accessoire (cf. <ref-ruling> consid. 2.2.4 et 3.3.2; cf. aussi, à titre de comparaison, arrêts 2C_806/2018 du 20 mars 2019 consid. 5 et 2C_716/2018 du 13 décembre 2018 consid. 3.4).
4.
Dans leur mémoire, les recourants 1 et 2 reprochent en revanche au Tribunal cantonal d'avoir nié que leur fils, le recourant 3, jouissait d'un droit à séjourner en Suisse en application l'<ref-law>, afin de finir sa scolarité obligatoire débutée en Suisse, laquelle prend actuellement la forme d'un enseignement spécialisé. Dans la mesure où un tel droit devait être reconnu à leur enfant, ils prétendent jouir, pour leur part, d'un droit dérivé à demeurer dans le pays en tant que parents gardiens, conformément au droit au respect de la vie familiale consacré à l'art. 8 par. 1 CEDH (RS 0.101).
4.1. Selon l'<ref-law>, les enfants d'un ressortissant d'une partie contractante qui exerce ou non, ou qui a exercé une activité économique sur le territoire de l'autre partie contractante, sont admis aux cours d'enseignement général, d'apprentissage et de formation professionnelle dans les mêmes conditions que les ressortissants de l'État d'accueil, si ces enfants résident sur son territoire. Cette réglementation a été reprise de l'art. 12 du Règlement (CEE) n°1612/68 au titre de l'"acquis communautaire" et correspond presque littéralement au texte de celui-ci. S'inspirant de la jurisprudence européenne, le Tribunal fédéral a admis que l'<ref-law> s'appliquait non seulement à l'école obligatoire (cf. <ref-ruling> consid. 7.2; arrêt 2C_820/2018 du 11 juin 2019 consid. 4.1; arrêt de la Cour de justice des Communautés européennes [actuellement: Cour de justice de l'Union européenne; ci-après: la CJUE] du 17 septembre 2002, Baumbast, C-413/99, Rec. 2002 p. I-7091, point 69), mais aussi à la formation scolaire spéciale dispensée en faveur d'enfants handicapés (cf. <ref-ruling> consid. 7; aussi arrêt de la CJUE du 11 avril 1973, 76-72, Michel S., Rec. 1973 p. 457, points 13 à 15).
4.2. Le Tribunal fédéral a également déduit de l'<ref-law>, interprété en tenant compte de jurisprudence de la Cour de justice de l'Union européenne, que les enfants d'un ressortissant d'une partie contractante au sens de cette disposition jouissent d'un droit indépendant de leurs parents à demeurer dans l'État d'accueil, afin d'y terminer leur formation, lorsque l'on ne peut raisonnablement pas exiger d'eux qu'ils retournent dans leur pays d'origine pour achever celle-ci (cf. <ref-ruling> consid. 4.1; <ref-ruling> consid. 4.2; arrêts 2C_870/2018 du 13 mai 2019 consid. 3.1; 2C_997/2015 du 30 juin 2016 consid. 2; arrêt de la CJUE du 15 mars 1989 C-389/87 et C-390/87 Echternach et Moritz, Rec. 1989 p. 723, point 23). Cette jurisprudence implique que les enfants aient déjà commencé, dans le cadre de leur formation, à s'intégrer dans le pays d'accueil, ce qui a été nié pour des enfants en bas âge, même s'ils se trouvaient en garderie ou à l'école enfantine (cf. ATF <ref-ruling> consid. 4.2.2; arrêts 2C_870/2018 du 13 mai 2019 consid. 3.3.2). Les parents qui exercent la garde de l'enfant bénéficient alors également d'un droit de séjour à titre dérivé, indépendamment de leurs moyens d'existence (cf. <ref-ruling> consid. 4.2; <ref-ruling> consid. 3.3 et les références citées).
4.3. Récemment, dans un arrêt 2C_673/2019 du 3 décembre 2019, le Tribunal fédéral a considéré, en lien avec l'<ref-law>, que l'on ne pouvait pas exiger d'un enfant âgé de treize ans, ressortissant portugais, mais né en Suisse, qu'il retourne dans son pays d'origine avant d'avoir terminé son école obligatoire. Il s'agissait de tenir compte du fait que l'enfant se trouvait au début de l'adolescence, soit à une période essentielle du développement personnel et scolaire, où un soudain déplacement du centre de vie pouvait constituer un véritable déracinement et s'accompagner de grandes difficultés d'intégration. Dans le cas d'espèce, le médecin pédiatre avait attesté qu'un départ de Suisse serait une source de stress majeur et compromettrait le développement de l'enfant.
4.4. En l'occurrence, le Tribunal cantonal a expressément relevé dans son arrêt que le recourant 3 était bientôt âgé de treize ans, qu'il se trouvait également au début de l'adolescence et qu'un départ de Suisse était sous cet angle problématique. Il a toutefois retenu que sa situation différait de celle à la base de l'arrêt 2C_673/2019 précité, en ce sens qu'il n'était pas né en Suisse, où il était arrivé à l'âge de six ans, et qu'il souffrait d'un important retard scolaire, de sorte qu'il n'apparaissait pas proche de la fin de sa scolarité obligatoire. Il en a déduit qu'un retour de l'enfant au Portugal était exigible, dès lors que ce pays disposait aussi d'infrastructures destinées aux élèves présentant des difficultés scolaires et que l'intéressé maîtrisait le portugais, langue qu'il parlait en famille.
4.5. Les recourants 1 et 2 contestent l'appréciation du Tribunal cantonal. Ils soutiennent que le recourant 3 aurait beaucoup de difficultés à intégrer un nouveau cursus scolaire, compte tenu de ses sévères difficultés d'apprentissage, après avoir passé toute sa scolarité en Suisse. A cela s'ajoute que la scolarisation devrait être poursuivie en portugais, langue dont l'intéressé ne maîtriserait que le langage familier oral. Les recourants 1 et 2 reconnaissent pour le reste que le retard scolaire de leur enfant repoussera le terme prévisible de sa scolarité obligatoire. Un tel fait ne saurait toutefois justifier la fin de la formation débutée en Suisse. Au contraire, un retour au Portugal mettrait a mal tous les efforts et le travail consentis depuis des années. Il serait enfin illusoire de croire que le recourant 3 serait capable d'apprendre une deuxième langue écrite, soit le portugais, à son stade de développement scolaire.
4.6. En l'occurrence, il n'est pas contesté que le recourant 3, qui suit un enseignement spécialisé en Suisse, est le fils d'un ressortissant européen ayant exercé une activité lucrative en Suisse. Il est d'ailleurs arrivé en Suisse en 2013, soit à une époque où son père exerçait encore une telle activité. Sur le principe, un droit de demeurer au sens de l'<ref-law> entre donc en ligne de compte en ce qui le concerne. Reste à examiner si l'on ne peut raisonnablement pas exiger de lui qu'il retourne dans son pays d'origine pour achever son cursus, ainsi cela a été exposé (cf. supra consid. 4.2). Un tel examen passe en l'occurrence par une pesée des intérêts en présence. Celle-ci implique de connaître les but et contenu concrets de la formation entamée par l'enfant en Suisse, sa durée, son avancement, ainsi que, le cas échéant, les possibilités réelles de l'intéressé de continuer sa formation dans son pays d'origine, sans être confronté à des obstacles insurmontables.
4.6.1. Or, s'agissant de ces différents points factuels, l'arrêt cantonal se révèle vague. Il en ressort uniquement que le recourant 3 a aujourd'hui treize ans et qu'il ne suit pas un cursus scolaire ordinaire, attendu qu'il nécessite une prise en charge spécialisée sur les plans pédagogiques et psychothérapeutiques tenant compte de ses besoins particuliers. Le Tribunal cantonal s'est pour le reste contenté de reprendre dans la partie "en fait" de son arrêt quelques extraits de certificats de personnes intervenant auprès de l'enfant (enseignants spécialisés, thérapeutes, etc.) et produits en cours de procédure par les recourants. Il en résulte, en substance, que le recourant 3 présenterait un retard de développement, mais que les projets pédagogiques individualisés dont il a pu bénéficier dans un établissement scolaire spécialisé - au sein d'une classe à effectif réduit et encadré par divers thérapeutes - lui auraient permis de progresser à son rythme. Il serait actuellement au coeur de l'apprentissage de la lecture en français. Les progrès rencontrés grâce à sa scolarisation adaptée seraient néanmoins sérieusement mis à mal en cas de retour immédiat au Portugal, lequel risquerait ainsi d'hypothéquer son développement futur.
4.6.2. La Cour de céans déduit des faits de l'arrêt attaqué qu'il est envisageable que le recourant 3 bénéficie d'une mesure de pédagogie spécialisée dite "renforcée" au sens de l'art. 5 de l'Accord intercantonal du 25 octobre 2007 sur la collaboration dans le domaine de la pédagogie spécialisée (AICPS), qui est entré en vigueur le 1er janvier 2011 et auquel le canton de Vaud est partie (RS/VD 417.91). Une telle mesure, qui peut devoir durer jusqu'à l'âge de vingt ans (cf. aussi art. 62 al. 3 Cst.), est généralement prise en tenant compte des besoins individuels de l'enfant, à l'issue d'une procédure d'évaluation standardisée. Elle suppose en principe l'établissement d'un projet individualisé de pédagogie spécialisée, incluant un programme personnalisé s'agissant de la scolarité obligatoire, dont les objectifs de développement et d'apprentissage sont adaptés aux besoins et capacités de l'élève (cf. art. 5 al. 1, 6 al. 3, 7 al. 1 let. c et 8 AICPS et art. 36 de la loi vaudoise du 1er septembre 2015 sur la pédagogie spécialisée [LPS/VD; RSV 417.31]; aussi, mais en droit genevois, <ref-ruling> consid. 7.2).
4.6.3. En l'occurrence, le Tribunal cantonal n'évoque aucunement l'existence d'un projet individualisé de pédagogie spécialisée pour le recourant 3. A vrai dire, il n'établit pas - ne serait-ce que dans les grandes lignes - en quoi consiste concrètement la formation suivie par l'intéressé, l'année où elle prendra fin, les besoins individuels auxquels elle est censée répondre et les objectifs scolaires auxquels elle tend. Avant de retenir que l'on pouvait exiger du recourant 3 qu'il poursuive son école au Portugal, le cas échéant au sein d'un établissement destiné aux enfants présentant des problèmes scolaires, le Tribunal cantonal s'est limité à relever laconiquement que l'enfant ne paraissait "pas proche" de la fin de sa scolarité du fait de ses "importantes difficultés d'apprentissage", qu'il n'était pas né en Suisse et qu'il parlait le portugais avec ses parents. Ce faisant, il a procédé à une pesée incomplète des intérêts en présence, en faisant abstraction de la situation concrète du recourant 3, ainsi que des éventuelles graves répercussions psychologiques et pédagogiques qu'un départ immédiat de Suisse pourrait avoir pour l'intéressé. Une certaine minutie dans la pesée des intérêts en présence, passant par un établissement complet des faits, s'imposait pourtant d'autant plus en l'affaire que, dans un arrêt récent, le Tribunal fédéral a reconnu à un enfant du même âge - également ressortissant portugais - le droit de finir sa scolarité obligatoire en Suisse au sens de l'<ref-law>, en raison des implications psychologiques et sociales que pouvait avoir un départ de Suisse, ce qu'a d'ailleurs relevé l'autorité précédente (cf. supra consid. 4.3). Eu égard à cette jurisprudence, cette dernière aurait dû exposer plus en détail ce qui justifiait d'appliquer différemment la disposition précitée s'agissant du recourant 3, sachant qu'un départ de Suisse risquait d'avoir un impact tout aussi important - si ce n'est plus - sur celui-ci que sur un élève ordinaire.
4.7. L'autorité précédente ayant établi les faits de manière lacunaire, la Cour de céans n'est pour sa part pas en mesure de déterminer si le recourant 3 peut valablement revendiquer un droit de demeurer en Suisse au sens de l'<ref-law>, afin d'achever sa scolarité obligatoire en Suisse (cf. <ref-law>). Partant, elle ne peut pas examiner non plus si les recourants 1 et 2 peuvent prétendre à un droit dérivé de celui de leur enfant à demeurer en Suisse. Il manque en effet dans l'arrêt entrepris de nombreuses informations concrètes au sujet des besoins individuels du recourant 3, de la nature et de la durée probable des mesures de pédagogie qui lui sont dispensées et des objectifs que celles-ci sont censées atteindre. Dans ces conditions, il y a lieu de renvoyer la cause à l'autorité précédente pour qu'elle procède à une instruction complémentaire sur ces points et effectue, sur cette base, une nouvelle pesée des intérêts avant de se prononcer sur un éventuel droit de demeurer des recourants (cf. <ref-law>).
5.
Sur le vu de ce qui précède, le recours doit être admis. L'arrêt du 14 septembre 2020 du Tribunal cantonal doit être annulé et la cause renvoyée à l'autorité précédente pour instruction complémentaire et nouvelle décision dans le sens des considérants.
6.
Il n'est pas perçu de frais judiciaires (<ref-law>). Ayant obtenu gain de cause avec l'aide d'un représentant, les recourants ont droit à des dépens (art. 68 al. 1 et 2 LTF; aussi arrêt 2C_862/2019 du 30 octobre 2020 consid. 6), qu'il convient de mettre à la charge du canton de Vaud et qui seront versés directement audit représentant. La requête d'assistance judiciaire est dès lors sans objet.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du 14 septembre 2020 du Tribunal cantonal est annulé et la cause lui est renvoyée pour instruction complémentaire et nouvelle décision dans le sens des considérants.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 2'000 fr., à payer au mandataire des recourants à titre de dépens, est mise à la charge du canton de Vaud.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 11 février 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat