Faits :
A.
Ressortissant portugais né en 1965, A.A._ est entré en Suisse le 17 juillet 2006 pour exercer une activité lucrative de monteur en ascenseurs. Il s'est installé dans le canton de Fribourg où il a été rejoint un mois plus tard par son épouse et compatriote, B.A._, née en 1969, et par leurs quatre enfants, nés entre 1989 et 1995.
Actuellement, tous les membres de la famille résident en Suisse et bénéficient d'un permis d'établissement, hormis un des enfants qui est titulaire d'une autorisation de séjour de courte durée. Deux des enfants bénéficiant d'une autorisation d'établissement font cependant l'objet d'une procédure de révocation de leur titre de séjour.
En octobre 2006 et juin 2007, A.A._ a subi deux accidents de travail. Par la suite, après une période de chômage de janvier 2008 à décembre 2009, il n'a plus exercé d'activité lucrative. Pour sa part, B.A._ n'a jamais exercé d'activité lucrative en Suisse. Les intéressés dépendent de l'aide sociale depuis le 15 février 2010.
B.
B.a. Par décision du 23 mars 2018, le Service de la population et des migrants du canton de Fribourg (ci-après: le Service cantonal) a révoqué les autorisations d'établissement de A.A._ et de B.A._ et a prononcé leur renvoi de Suisse dans un délai de 30 jours. Cette mesure se justifiait selon lui en raison de la dépendance à l'aide sociale du couple.
En date du 8 mai 2018, A.A._ et B.A._, représentés par Me C._, ont formé recours devant le Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) contre la décision précitée du Service cantonal dont ils ont demandé l'annulation.
Par courrier daté du 27 décembre 2019, les intéressés ont informé le Tribunal cantonal de la résiliation du mandat qui les liait à Me C._ et demandé que les futures décisions les concernant soient désormais envoyées à leur adresse personnelle (cf. <ref-law>).
Le Tribunal cantonal a rejeté le recours par arrêt du 27 janvier 2020. Celui-ci a été notifié le 6 février 2020 non pas directement aux intéressés, mais à leur ancien mandataire, Me C._.
B.b. Par courrier du 9 mars 2020, l'Association D._, agissant par E._ et déclarant intervenir sur mandat de A.A._, a déclaré faire recours au Tribunal fédéral contre l'arrêt cantonal du 27 janvier 2020 et demandé à cette autorité de lui accorder un nouveau délai pour compléter le recours (cf. <ref-law>).
Par arrêt du 10 mars 2020 (cause 2C_222/2020), le Tribunal fédéral, considérant le courrier précité comme un recours contre l'arrêt du Tribunal cantonal du 27 janvier 2020, a déclaré celui-ci irrecevable. Il a en effetestimé que le courrier ne contenait aucun des éléments exigés par l'<ref-law> et que le délai pour déposer le recours était désormais échu, de sorte que la transmission du dossier telle que proposée par le représentant aurait lieu hors du délai de recours.
B.c. Il ressort du dossier qu'après un entretien téléphonique et un échange de courriers avec A.A._, le Président du Tribunal cantonal a constaté, par courrier du 16 mars 2020, que l'arrêt cantonal du 27 janvier 2020 avait été notifié à tort à l'ancien avocat de l'intéressé et de son épouse. Il a toutefois refusé de procéder à une nouvelle notification de l'arrêt, considérant que l'erreur intervenue n'avait pas empêché A.A._ de recourir dans les délais au Tribunal fédéral (cf. <ref-law>).
Par courrier 17 mars 2020, déclarant avoir appris le même jour l'irrecevabilité du recours déposé au Tribunal fédéral par A.A._ contre l'arrêt cantonal du 27 janvier 2020, le Tribunal cantonal a déclaré impartir à l'intéressé et à son épouse un "nouveau délai de recours de 30 jours (...) pour contester, cas échéant, le jugement cantonal auprès du Tribunal fédéral".
C.
En date du 14 mai 2020, A.A._ (ci-après: le recourant 1) et B.A._ (ci-après: la recourante 2), représentés par un nouvel avocat, déposent un second recours en matière de droit public au Tribunal fédéral contre l'arrêt du Tribunal cantonal du 27 janvier 2020. Outre l'octroi de l'effet suspensif à leur recours et le bénéfice de l'assistance judiciaire, ils demandent l'annulation de l'arrêt cantonal attaqué et la délivrance d'une autorisation de séjour pour chacun d'eux. Ils concluent par ailleurs, de manière subsidiaire, à l'annulation de ce même arrêt et au renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Le Président de la Cour de céans a admis la requête d'effet suspensif par ordonnance présidentielle du 15 mai 2020.
Le Tribunal cantonal comme le Service cantonal n'ont pas formulé de remarques particulières sur le recours, dont ils concluent au rejet en renvoyant aux considérants de l'arrêt attaqué.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law> [RS 173.110]) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116). Pour déterminer si, au moment où il se prononce, les conditions de recevabilité sont réunies, il peut prendre en compte des faits postérieurs à l'arrêt attaqué, en dérogation à l'interdiction des faits nouveaux prévue à l'<ref-law> (cf. <ref-ruling> consid. 3.3 p. 500; aussi arrêt 2D_9/2019 du 22 juillet 2019 consid. 1.1).
1.1. Au sens des art. 82 let. a, 86 al. 1 let d et 114 LTF, le Tribunal fédéral connaît des recours en matière de droit public, ainsi que des recours constitutionnels subsidiaires déposés contre des décisions rendues dans des causes de droit public, notamment par des autorités cantonales de dernière instance. Il n'entre en revanche pas en matière sur d'éventuels recours contre ses propres arrêts, qui, d'après l'<ref-law>, acquièrent force de chose jugée le jour où ils sont prononcés. Les arrêts du Tribunal fédéral ne sont pas susceptibles d'un recours ordinaire sur le plan interne. Ils ne peuvent être modifiés que par la voie extraordinaire de la révision (<ref-law>; cf. arrêt 2F_3/2020 du 24 juin 2020 consid. 1).
1.2. Dans leur mémoire, les recourants déclarent recourir contre l'arrêt du Tribunal cantonal du 27 janvier 2020 qui confirme la révocation de leurs autorisations d'établissement. Ce faisant, ils passent sous silence le fait que cet arrêt cantonal a déjà fait l'objet d'un précédent recours au Tribunal fédéral. En effet, le 9 mars 2020, le recourant 1 a déjà déposé un premier recours en matière de droit public contre l'arrêt cantonal du 27 janvier 2020 qui a été déclaré irrecevable par la Cour de céans par arrêt du 10 mars 2020 (cause 2C_222/2020). On peut en l'occurrence se demander si l'intéressé, dont un premier recours a déjà donné lieu à un arrêt d'irrecevabilité de la part du Tribunal fédéral, dispose toujours de la faculté d'interjeter un second recours en matière de droit public contre l'arrêt du Tribunal cantonal du 27 janvier 2020 - et de contester de cette façon une nouvelle fois la révocation de son autorisation d'établissement - ou s'il n'aurait pas dû demander plutôt la révision de l'arrêt fédéral d'irrecevabilité du 10 mars 2020, étant précisé que le mémoire de recours ne peut en l'espèce pas être transformé en une demande de révision, dont il ne remplit aucune des conditions (cf. <ref-law> et 124 al. 2 let. b LTF). Cette question, qui ne remet en cause la recevabilité du recours qu'en tant qu'il est déposé par le recourant 1, dès lors que la recourante 2 n'apparaît pas en tant que partie dans le premier recours qui a donné lieu à l'arrêt 2C_222/2020, peut toutefois rester indécise. Le présent recours doit de toute manière être déclaré irrecevable pour un autre motif.
1.3. Aux termes de l'<ref-law>, le recours contre une décision doit être déposé devant le Tribunal fédéral dans les trente jours qui suivent la notification de l'expédition complète. Aux termes de l'<ref-law>, les délais fixés en jours par la loi ou par le juge ne courent pas du septième jour avant Pâques au septième jour après Pâques inclus. Si le dernier jour du délai est un samedi, un dimanche ou un jour férié selon le droit cantonal fédéral ou cantonal, le délai expire le premier jour ouvrable qui suit (<ref-law>). Selon l'art. 1 al. 1 de l'ordonnance fédérale du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus (COVID-19; RS 173.110.4), lorsque, en vertu du droit fédéral ou cantonal de procédure applicable, les délais légaux ou les délais fixés par les autorités ou par les tribunaux ne courent pas pendant les jours qui précèdent et qui suivent Pâques, leur suspension commence dès l'entrée en vigueur de la présente ordonnance - à savoir le 21 mars 2020 - et dure jusqu'au 19 avril 2020 inclus.
1.4. En principe, une décision irrégulièrement notifiée n'est pas nulle, ni n'empêche en soi un délai de recours de commencer à courir. D'après l'<ref-law>, elle ne peut cependant entraîner aucun préjudice pour les parties. Il y a lieu d'examiner, d'après les circonstances du cas concret, si les parties intéressées ont réellement été induites en erreur par l'irrégularité de la notification et ont, de ce fait, subi un préjudice. Il convient à cet égard de s'en tenir aux règles de la bonne foi qui imposent une limite à l'invocation du vice de forme (<ref-ruling> consid. 3a/aa p. 99 et arrêt 1C_15/2016 du 1er septembre 2016 consid. 2.2). Par exemple, dans l'hypothèse où une décision a été communiquée à tort à l'ancien mandataire d'une partie, il s'agit de se demander si celle-ci a pu prendre connaissance de la décision à un moment donné. La partie en question ne pouvant se prévaloir indéfiniment de l'irrégularité de notification, elle est tenue d'agir dans un délai de trente jours à partir de cette connaissance (cf. arrêt 6B_1261/2016 du 13 décembre 2016; JEAN-MAURICE FRÉSARD, Commentaire LTF, 2e éd. 2014, no 15 ad <ref-law>).
1.5. Il ressort en l'espèce du dossier que l'arrêt attaqué a été notifié par erreur une première fois le jeudi 6 février 2020 à l'ancien mandataire des recourants, soit à Me C._, quand bien même les intéressés avaient informé en temps utile le Tribunal cantonal du fait que leur avocat avait résilié le mandat qui les liait et qu'ils se retrouvaient dès lors sans représentant. Quoi qu'il en soit, cette notification irrégulière n'a pas empêché les intéressés de prendre connaissance de l'arrêt cantonal au plus tard le lundi 9 mars 2020. Ce jour-là, le recourant 1 a en effet déposé un premier recours au Tribunal fédéral contre l'arrêt cantonal du 27 janvier 2020, par l'intermédiaire de l'Association D._. Une copie de l'arrêt attaqué a d'ailleurs été annexée audit recours. Ainsi, dès lors que les recourants ont eu, d'une manière ou d'une autre, connaissance de l'arrêt attaqué au plus tard le 9 mars 2020, il leur aurait en principe incombé de recourir au Tribunal fédéral avant le vendredi 8 mai 2020, compte tenu des différentes suspensions de délai applicables en la cause (cf. supra consid. 1.3 et 1.4). Leur présent recours, qui a été déposé le jeudi 14 mai 2020, s'avère sous cet angle tardif.
1.6. Il convient encore de se demander si le courrier du Président du Tribunal cantonal du 17 mars 2020, par lequel celui-ci a imparti aux recourants un nouveau délai de trente jours pour recourir au Tribunal fédéral, a pu avoir pour effet de prolonger le délai de recours au Tribunal fédéral au lundi 18 mai 2020 (compte tenu des suspensions de délais), comme le prétendent les intéressés dans leur mémoire.
1.7. En principe, lorsque l'autorité procède à une deuxième notification, celle-ci est sans effet juridique (cf. <ref-ruling> consid. 2b p. 101). Toutefois, en application du droit à la protection de la bonne foi découlant directement de l'art. 9 Cst., on admet généralement qu'une partie ne doit pas être lésée par une indication erronée des voies de droit (<ref-ruling> consid. 4a p. 19; <ref-ruling> consid. 3 p. 310; cf. également <ref-law> et 38 PA). Il est donc possible que le droit à la protection de la bonne foi conduise à la prolongation d'un délai légal en raison d'une indication erronée donnée par l'autorité (<ref-ruling> consid. 2 p. 107 et les références). Tel peut notamment être le cas, en fonction des circonstances, si l'autorité procède à une deuxième notification avant l'échéance du délai de recours, en indiquant sans réserve les voies de droit (<ref-ruling> consid. 4b/aa p. 94; <ref-ruling> consid. 4a et 4c p. 19 ss; aussi arrêt 6B_701/2016 du 23 mai 2017 consid. 3.3 et 8C_184/2010 du 27 avril 2020 consid. 3.2).
1.8. En l'occurrence, il ressort du dossier que le 6 février 2020, l'arrêt attaqué a été notifié de manière irrégulière à l'ancien mandataire des recourants et qu'en date du 17 mars 2020, le Président du Tribunal cantonal a procédé à ce qui pourrait passer pour une seconde notification de l'arrêt, en adressant aux intéressés un courrier leur impartissant un nouveau délai de trente jours pour recourir au Tribunal fédéral. Il apparaît toutefois qu'avant même de recevoir ce courrier, le recourant 1 avait déjà déposé un premier recours au Tribunal fédéral le 9 mars 2020, en l'occurrence par l'intermédiaire du président de l'Association D._. Dans le cadre de ce recours, il a explicitement demandé à la Cour de céans de lui octroyer un nouveau délai de recours tenant compte de la complexité du dossier. Le Tribunal fédéral a alors déclaré le recours irrecevable pour non-respect des conditions de forme par arrêt du 10 mars 2020. Il a également relevé dans les considérants de son arrêt que le délai pour recourir contre l'arrêt cantonal était échu à cette date et qu'il ne pouvait être prolongé, ce qui empêchait en l'occurrence une éventuelle amélioration du recours (cf. arrêt 2C_222/2020 consid. 3). Six jours plus tard, soit le 16 mars 2020, le Président du Tribunal cantonal a pour sa part refusé dans un premier temps de procéder à une nouvelle notification de l'arrêt cantonal, en relevant que les recourants avaient manifestement pris connaissance de ce dernier, dès lors qu'ils avaient pu déposer un recours contre lui dans les délais au Tribunal fédéral, avant de revenir dans un second temps sur sa position dans son courrier du 17 mars 2020.
Ainsi, force est de constater qu'au moment de recevoir le courrier du Président du Tribunal cantonal du 17 mars 2020, les recourants avaient déjà été rendus attentifs plusieurs fois que le délai pour recourir contre l'arrêt du 27 janvier 2020 avait déjà commencé à courir depuis un certain temps. A cela s'ajoute qu'ils se sont par la suite adjoint les services d'un nouveau mandataire qui, assurément, connaissait ou, du moins, devait connaître l'existence de l'arrêt d'irrecevabilité du Tribunal fédéral du 10 mars 2020, ne serait-ce que parce que cette décision est expressément mentionnée dans le courrier du Tribunal cantonal du 17 mars 2020, lequel a été annexé au présent recours. Ce second mandataire devait ainsi savoir que ses mandants avaient déjà pris connaissance de l'arrêt attaqué au plus tard le 9 mars 2020, date à laquelle le recourant 1 avait recouru au Tribunal fédéral à son encontre, soit au moins une semaine avant d'avoir reçu le courrier du Président du Tribunal cantonal du 17 mars 2020. En tant qu'avocat breveté, il aurait dû en conclure qu'en dépit d'une notification irrégulière à l'ancien mandataire en date du 6 février 2020, le délai pour recourir au Tribunal fédéral contre l'arrêt cantonal du 27 janvier 2020 avait déjà commencé à courir avant la réception du courrier du Président du Tribunal cantonal du 17 mars 2020. Il ne pouvait en aucun cas croire de bonne foi que celui-ci jouissait du pouvoir de décider d'un nouveau délai de recours au Tribunal fédéral, d'autant moins que ce dernier s'était déjà prononcé en la cause (cf. <ref-law>).
1.9. Le recours, déposé le 14 mai 2020, intervient dès lors hors délai.
Partant, le recours doit être déclaré irrecevable.
2.
Les recourants ont demandé le bénéfice de l'assistance judiciaire. La cause paraissant d'emblée dépourvue de chances de succès, cette requête doit être rejetée (<ref-law>).
Les frais judiciaires seront mis à la charge des recourants, solidairement entre eux, mais seront fixés au minimum en tenant compte de leur situation financière (art. 65 al. 2 et 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 200 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service de la population et des migrants du canton de Fribourg, au Tribunal cantonal de l'Etat de Fribourg, Ie Cour administrative, et au Secrétariat d'Etat aux migrations.
Lausanne, le 28 août 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Jeannerat