Faits :
A.
Par décision du 23 mars 2018, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal) a révoqué les autorisations d'établissement UE/AELE de A._, ressortissant portugais né en 1965, et de son épouse B._, ressortissante portugaise née en 1969, en raison de leur dépendance à l'aide sociale.
Par arrêt du 27 janvier 2020, la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours formé par les intéressés et confirmé la décision du 23 mars 2018. Par arrêt du 28 août 2020 (2C_374/2020), le Tribunal fédéral a déclaré irrecevable pour cause de tardiveté le recours formé contre l'arrêt du Tribunal cantonal.
Le 17 septembre 2020, le Service cantonal a imparti au couple un délai au 1 er novembre 2020 pour quitter la Suisse, qu'il a prolongé sur requête jusqu'au 31 décembre 2020.
B.
Le 4 décembre 2020, le couple a déposé auprès du Service cantonal une demande de reconsidération de la décision du 23 mars 2018, en invoquant une détérioration de l'état de santé de A._.
Par décision du 9 décembre 2020, le Service cantonal a rejeté cette demande et retiré l'effet suspensif à un éventuel recours. En substance, il a considéré que la situation de A._ en lien avec son état de santé n'avait pas changé de manière considérable depuis la décision du 23 mars 2018, de sorte que cette décision n'avait pas à être modifiée.
Par arrêt du 25 janvier 2021, le Tribunal cantonal a rejeté le recours formé par les intéressés contre la décision du 9 décembre 2020. Il a qualifié celle-ci de décision de non-entrée en matière sur la demande de reconsidération, dès lors que l'autorité avait retenu qu'il n'y avait pas de circonstances nouvelles justifiant le réexamen, et l'a confirmée, tout en déclarant sans objet la requête tendant à ce qu'aucune mesure d'exécution du renvoi ne soit prise.
C.
Contre l'arrêt du 25 janvier 2021, A._ (ci-après: le recourant 1) et B._ (ci-après: la recourante 2) forment un recours constitutionnel subsidiaire auprès du Tribunal fédéral. Ils requièrent l'effet suspensif et, à titre de mesure provisionnelle, qu'il soit fait interdiction au Service cantonal d'exécuter leur renvoi. Ils sollicitent l'assistance judiciaire et concluent à l'annulation de l'arrêt attaqué, ainsi qu'au renvoi de la cause au Service cantonal pour nouvelle décision dans le sens des considérants, sous suite de frais et dépens.
Par ordonnance du 26 février 2021, le Tribunal fédéral a invité le Service cantonal et le Tribunal cantonal à se prononcer sur l'effet suspensif et à produire le dossier de la cause, tout en précisant qu'aucune mesure d'exécution de la décision ne pourrait être prise jusqu'à décision sur la requête d'effet suspensif.
Le Service cantonal a conclu au rejet de la requête d'effet suspensif. Le Tribunal cantonal a produit le dossier de la cause, sans autre indication.
Il n'a pas été ordonné d'autre échange d'écritures.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. Le présent litige porte sur la confirmation d'un refus d'entrer en matière sur une demande de reconsidération d'une décision révoquant les autorisations d'établissement UE/AELE et prononçant le renvoi de Suisse des recourants.
Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2) ou le renvoi (ch. 4).
En principe, la voie du recours en matière de droit public est ouverte en ce qui concerne les décisions relatives au droit de séjour des ressortissants des Etats parties à l'ALCP (RS 0.142.112.681), car ceux-ci peuvent a priori prétendre à un droit de séjour en vertu de cet Accord (cf. <ref-ruling> consid. 1.1; cf. arrêt 2C_959/2020 du 28 décembre 2020 consid. 3.1 à propos d'une nouvelle demande d'autorisation ensuite de la révocation de l'autorisation d'établissement UE/AELE). Toutefois, dans la mesure où les recourants n'invoquent en l'espèce que des motifs s'opposant à leur renvoi, le recours en matière de droit public est effectivement exclu (art. 83 let. c ch. 4 LTF) et c'est à juste titre qu'ils ont formé un recours constitutionnel subsidiaire (<ref-law>).
1.2. A qualité pour former un recours constitutionnel quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (art. 115 let. a et b LTF). Le recours constitutionnel peut être formé pour violation des droits constitutionnels (<ref-law>).
Les recourants, qui ont tous deux participé à la procédure devant l'autorité précédente, invoquent notamment les garanties générales de procédure déduites de l'art. 29 Cst., qui imposent à certaines conditions d'entrer en matière sur une demande de reconsidération (ou une nouvelle demande, cf. arrêt 2C_959/2020 du 28 décembre 2020 consid. 3.1) en droit des étrangers (cf. <ref-ruling> consid. 2), ainsi qu'une application arbitraire des dispositions de droit cantonal relatives à la reconsidération des décisions. Ces griefs leur confèrent la qualité pour recourir (cf. arrêt 2D_5/2017 du 14 février 2017 consid. 5.2). En outre, en ce qui concerne le recourant 1, celui-ci allègue la violation de droits constitutionnels spécifiques (droit à la vie et interdiction des traitements cruels, inhumains ou dégradants, etc.), laquelle confère également la qualité pour recourir dans le cadre du recours constitutionnel subsidiaire (cf. <ref-ruling> consid. 3.3).
1.3. La conclusion des recourants, qui tend exclusivement au renvoi de la cause au Service cantonal sans autre conclusion sur le fond, est admissible (cf. <ref-ruling> consid. 1.4), dès lors que le Tribunal cantonal a confirmé le refus d'entrer en matière sur la demande de reconsidération et que l'admission éventuelle du recours devrait partant en principe conduire à renvoyer la cause à l'autorité de première instance pour examen au fond (cf. <ref-law>; arrêt 2C_32/2009 du 29 mai 2009 consid. 1.3).
1.4. Pour le surplus, le recours est dirigé contre une décision finale (art. 117 et 90 LTF), rendue par une autorité judiciaire supérieure qui a statué en dernière instance cantonale (<ref-law>). Il a été déposé en temps utile (art. 117 et 100 al. 1 LTF) et dans les formes requises (<ref-law>). Il convient donc d'entrer en matière.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ces constatations que si les faits ont été établis en violation de droits constitutionnels (<ref-law> en relation avec l'<ref-law>), soit en particulier s'ils ont été établis de manière arbitraire (art. 9 Cst.), ce qui correspond à la notion de "manifestement inexacte" figurant à l'<ref-law> (<ref-ruling> consid. 6.7). La partie recourante doit démontrer d'une manière circonstanciée et précise l'arbitraire, conformément aux exigences de motivation posées à l'<ref-law> (par renvoi de l'<ref-law>; cf. <ref-ruling> consid. 3.2).
3.
Pour confirmer la décision de refus d'entrer en matière sur la demande de reconsidération, le Tribunal cantonal a tout d'abord souligné que les recourants continuaient à percevoir des prestations de l'aide sociale de sorte que, sous cet aspect, la situation du couple n'avait pas subi d'évolution sensible par rapport à ce qui avait été retenu dans la décision du 23 mars 2018. Il a aussi relevé que le Service cantonal avait examiné la question de l'état de santé du recourant 1 dans son prononcé du 23 mars 2018, pour arriver à la conclusion que les traitements et le suivi médical pouvaient être assurés au Portugal.
Le Tribunal cantonal a ensuite noté que, comme éléments nouveaux, les recourants faisaient valoir que le recourant 1 était affecté de troubles psychiques en lien avec le renvoi, qui pourraient, cas échéant, le conduire à attenter à sa vie, et qu'il souffrait de plus d'un diabète insulino-requérant ainsi que de problèmes orthopédiques, pour lesquels des interventions chirurgicales seraient imminentes. Compte tenu de cette multimorbidité active et complexe, un médecin traitant avait indiqué que le niveau des soins que le recourant 1 pourrait obtenir au Portugal ne serait pas le même qu'en Suisse. En particulier, il avait déclaré qu'il y avait une pénurie de centres pour le diabète au Portugal et que s'ils existaient, ils étaient à une très grande distance, ce qui mettait le patient en danger.
Le Tribunal cantonal a considéré que ces faits ne constituaient pas une modification sensible de la situation. D'une part, il a retenu qu'il n'y avait aucun indice objectif laissant penser que le recourant présenterait des troubles dépressifs spécialement graves, de sorte qu'il y avait lieu de s'en tenir à la jurisprudence selon laquelle les difficultés psychologiques consécutives au statut incertain en droit des étrangers ne justifient pas de renoncer à une mesure de renvoi (cf. arrêt 2D_5/2017 du 14 février 2017 consid. 6.3). D'autre part, il a indiqué que les recourants venaient de la région de Porto, ville qui disposait de toute l'infrastructure nécessaire pour soigner correctement le recourant 1, que cela soit en lien avec le diabète, les troubles psychiques et les problèmes orthopédiques. Le Tribunal cantonal a souligné qu'il appartenait aux recourants de mettre sur pied le suivi médical dans leur pays d'origine. Il a conclu qu'il n'y avait pas de circonstances indiquant que l'exécution du renvoi mettrait en péril la santé du recourant 1.
4.
Sans formuler un grief distinct sur ce point, mais en exposant néanmoins à suffisance leur critique, les recourants se plaignent en premier lieu d'une appréciation arbitraire des preuves.
4.1. L'appréciation des preuves et l'établissement des faits sont arbitraires lorsque le juge s'est manifestement mépris sur le sens et la portée d'un moyen de preuve, lorsqu'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée, ou encore lorsqu'il a tiré des déductions insoutenables à partir des éléments recueillis (<ref-ruling> consid. 1.1; <ref-ruling> consid. 2.3 et les arrêts cités).
4.2. Les recourants considèrent que le Tribunal cantonal a retenu de manière insoutenable qu'aucun élément objectif ne laissait penser que le recourant 1 présenterait des troubles dépressifs spécialement graves l'empêchant de voyager. Selon eux, le psychiatre traitant n'aurait certes pas parlé de dépression dans ses rapports médicaux, mais il aurait attesté d'une aggravation des affections psychiques et du fait que l'état de santé du recourant 1 ne lui permettait pas de voyager sans mettre en danger sa vie. Le Tribunal cantonal serait tombé dans l'arbitraire en écartant l'avis de ce médecin.
Le Tribunal cantonal a relevé que l'attestation du psychiatre produite ne contenait ni diagnostic "conforme à la CIM-10", ni indication sur la médication prodiguée et la fréquence des consultations qui se sont déroulées depuis janvier 2019.
Eu égard au caractère vague du certificat médical, on ne voit pas qu'il était insoutenable de retenir que le recourant ne présentait pas des troubles dépressifs spécialement graves. Les recourants ne le démontrent pas non plus. Le fait qu'un diagnostic CIM-10 de trouble de la personnalité paranoïaque ait été établi dans le cadre de la procédure en assurance invalidité, souligné dans le recours, ne renseigne en effet pas sur la gravité des troubles.
S'agissant de l'incapacité à voyager alléguée, le Tribunal cantonal n'a pas fait mention dans son arrêt du fait que le psychiatre du recourant aurait affirmé que le recourant ne pouvait pas voyager et n'a ainsi pas tenue cette allégation pour établie. Dès lors qu'il a estimé, sans arbitraire, que les troubles psychiques du recourant 1 n'étaient pas spécialement graves et qu'il a aussi noté, sans être contredit par les intéressés, que le recourant ne nécessitait que des soins ambulatoires, on ne voit pas que cette position soit insoutenable et il n'y a donc pas lieu de s'en écarter.
4.3. Les recourants reprochent également aux précédents juges d'avoir versé dans l'arbitraire en refusant de considérer les autres rapports médicaux produits, qui attesteraient unanimement qu'un renvoi serait de nature à mettre en danger la santé du recourant 1. Ils soulignent en particulier que le rétablissement d'un réseau médical qui fonctionne prendra trop de temps et mettra en péril la santé, voire la vie du recourant 1.
Les recourants admettent eux-mêmes dans leur recours qu'une prise en charge médicale adéquate pourra être mise en place au Portugal. Leur affirmation selon laquelle le délai pour mettre en place cette prise en charge sera trop long est par ailleurs appellatoire. Les recourants se contentent en effet d'affirmer que la santé, voire la vie du recourant 1 sera mise en danger. On ne voit toutefois pas pourquoi la transition entre la prise en charge en Suisse et celle au Portugal ne pourrait pas être organisée de sorte à ce que l'interruption des soins soit la plus brève possible, voire même soit inexistante. La conclusion du Tribunal cantonal selon laquelle la santé du recourant ne sera pas mise en péril en cas de renvoi n'est donc pas insoutenable. La critique tirée d'une appréciation arbitraire des preuves doit partant être écartée. Dans ce qui suit, le Tribunal fédéral statuera donc exclusivement sur la base des faits constatés.
5.
Les recourants dénoncent une application arbitraire des dispositions de droit cantonal relatives au réexamen des décisions administratives, et la violation de l'art. 29 al. 2 Cst.
5.1. En vertu de l'art. 104 al. 1 du Code fribourgeois de procédure et de juridiction administrative du 23 mai 1991 (CPJA/FR; RS/FR 150.1), une partie peut, en tout temps, demander à l'autorité administrative de reconsidérer sa décision. L'autorité n'est toutefois tenue de se saisir de la demande que si les circonstances se sont modifiées dans une mesure notable depuis la première décision ou si le requérant invoque des faits ou des moyens de preuve importants qu'il ne connaissait pas lors de la première décision ou dont il ne pouvait pas se prévaloir ou n'avait pas raison de se prévaloir à cette époque ou s'il invoque un autre motif de révision au sens de l'article 105 (art. 104 al. 2 let. a à c CPJA). Il y a un motif de révision au sens de l'art. 105 notamment lorsqu'une partie allègue des faits ou produit des moyens de preuve nouveaux et importants (al. 1 let. a).
5.2. La jurisprudence a déduit des garanties générales de procédure de l'art. 29 al. 1 et 2 Cst. l'obligation pour l'autorité administrative de se saisir d'une demande de réexamen (ou nouvelle demande) lorsque les circonstances se sont modifiées dans une mesure notable depuis la décision attaquée ou lorsque le requérant invoque des faits essentiels et des moyens de preuve nouveaux qu'il ne connaissait pas ou a été dans l'impossibilité de faire valoir dans la procédure antérieure. Le réexamen de décisions administratives entrées en force ne doit pas être admis trop facilement. Il ne saurait en particulier servir à remettre sans cesse en cause des décisions exécutoires ou à détourner les délais prévus pour les voies de droit ordinaires (cf. <ref-ruling> consid. 2.1; <ref-ruling> consid. 2b).
5.3. Les recourants relèvent que la situation médicale du recourant 1 s'est complexifiée et aggravée depuis la décision de renvoi. Un renvoi aurait pour conséquence d'interrompre la prise en charge médicale adéquate en Suisse. Ces éléments démontreraient que les circonstances se sont modifiées dans une mesure notable depuis la décision du 23 mars 2018, de sorte que le Tribunal cantonal aurait arbitrairement confirmé le refus d'entrée en matière sur leur demande de reconsidération.
5.4. En l'occurrence, le Tribunal cantonal a retenu, sans arbitraire, que le recourant 1 pourrait être pris en charge tant pour son diabète, ses troubles psychiques, notamment liés au renvoi, et ses problèmes orthopédiques dans son pays d'origine.
Dès lors que le recourant peut recevoir des soins adéquats au Portugal pour ses problèmes actuels de santé, l'éventuelle aggravation de l'état de santé depuis la décision de mars 2018 ne constitue pas une modification notable des circonstances. L'interruption des traitements reçus en Suisse lors du départ au Portugal n'est pas non plus une circonstance nouvelle justifiant de réexaminer la décision de renvoi. Elle découlait en effet déjà de la décision initiale de révocation de l'autorisation et de renvoi de Suisse. Comme l'a relevé à juste titre le Tribunal cantonal, le fait d'obtenir en Suisse des prestations médicales supérieures à celles offertes dans le pays d'origine ne suffit en outre pas à justifier de renoncer à l'exécution du renvoi (cf. <ref-ruling> consid. 6). Enfin, il n'est pas établi que l'interruption des soins en Suisse aura pour conséquence que le recourant 1 ne sera pas pris en charge pendant un laps de temps susceptible de mettre en danger sa santé ou sa vie, étant relevé qu'il n'est pas démontré que le suivi entre les deux pays ne peut pas ou plus être planifié en raison de l'état de santé actuel du recourant 1 (cf. supra consid. 4.3). Ainsi que l'a souligné le Tribunal cantonal, il appartient aux recourants d'organiser le suivi médical au Portugal, où ils savent depuis plusieurs mois qu'ils doivent se rendre. Un éventuel défaut d'organisation de leur part ne saurait justifier le réexamen, dans la mesure où un délai adéquat leur est imparti pour quitter le territoire suisse.
5.5. Faute de modification notable des circonstances, le Tribunal cantonal n'a ni appliqué de manière arbitraire le droit cantonal, ni violé l'art. 29 Cst. en confirmant le refus de reconsidération de la décision du 23 mars 2018.
6.
Les recourants font encore valoir que le refus d'entrer en matière sur leur demande de réexamen viole l'art. 10 Cst. et l'art. 3 CEDH, en tant que ces dispositions protègent le droit à la vie et prohibent les traitements inhumains et dégradants, car le renvoi mettra en danger la vie du recourant 1.
Dès lors que, selon les faits constatés, le suivi médical du recourant 1 peut être assuré au Portugal et qu'il n'est pas démontré que le trajet serait de nature à mettre en danger sa santé ou sa vie, les griefs des recourants tombent à faux.
7.
Les considérants qui précèdent conduisent au rejet du recours. La requête d'effet suspensif est sans objet.
Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Les frais judiciaires seront mis à la charge des recourants, solidairement entre eux, mais seront fixés en tenant compte de leur situation financière précaire (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et des migrants et au Tribunal cantonal de l'Etat de Fribourg, Ie Cour administrative, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 14 avril 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber