Faits :
A.
A.A._ et B.A._, ressortissants kosovars nés respectivement en 1971 et 1966, se sont mariés en 1996 dans leur pays d'origine. Ils sont les parents de quatre enfants, C.A._, né en 2007, D.A._, née en 2003, E.A._, né en 1999 et F.A._, née en 1997. B.A._ est arrivé en Suisse en 1990 et y a été rejoint par sa femme et sa fille aînée en 1998. Le 17 septembre 2001, B.A._, F.A._ et E.A._ ont été mis au bénéfice d'autorisations d'établissement. D.A._ a obtenu une telle autorisation le 13 août 2003, alors que sa mère et son frère C.A._ se sont vu remettre leurs autorisations d'établissement les 9 septembre 2006, respectivement 13 mars 2007.
Les 24 mai 2006, 18 janvier 2010 et 7 janvier 2019, B.A._ a été condamné pour des infractions à la LCR, en dernier lieu à une peine pécuniaire de 40 jours-amende, assortie d'un sursis de trois ans. La famille A._ émarge à l'aide sociale et plusieurs de ses membres font l'objet de poursuites. Dès la fin de l'année 2011, l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après: l'Office cantonal) s'est enquis de savoir si les membres de la famille A._ vivaient toujours en Suisse. Il a en particulier écrit plusieurs fois à B.A._, qui a été entendu oralement et un des enquêteurs s'est rendu au domicile familial.
B.
Par trois décisions du 23 avril 2019, l'Office cantonal a constaté la caducité des autorisations d'établissement de l'ensemble des membres de la famille A._, en raison du déplacement de leur centre d'intérêts au Kosovo dès le 1er septembre 2010, et refusé de leur délivrer de nouvelles autorisations. Le 28 mai 2019, B.A._, A.A._, C.A._, D.A._, E.A._ et F.A._ont contesté ces décisions auprès du Tribunal administratif de première instance de la République et canton de Genève qui, après avoir joint les causes, a rejeté les recours par jugement du 31 janvier 2020. La famille A._ a interjeté recours contre ce jugement le 4 mars 2020 devant la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice). Par arrêt du 26 janvier 2021, la Cour de justice a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, B.A._, A.A._, C.A._, D.A._, E.A._ et F.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire et l'effet suspensif, d'annuler l'arrêt de la Cour de justice du 26 janvier 2021 et de constater que leurs autorisations d'établissement ne se sont pas éteintes.
Par ordonnance du 10 mars 2021, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
La Cour de justice persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal conclut au rejet du recours. Le Secrétariat d'Etat aux migrations renonce à se déterminer.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant ou, comme en l'espèce, constatant la caducité d'une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1; arrêt 2C_529/2020 du 6 octobre 2020 consid. 3.1).
1.2. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable, sous réserve de ce qui suit.
1.3. Les recourants invoquent une violation de l'art. 64 al. 1 let. c LEI (RS 142.20; dans sa version en vigueur avant le 1er janvier 2019 [RO 2007 5437], ci-après: LEtr; cf. art. 126 al. 1 LEI), disposition qui concerne le renvoi. Or, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent le renvoi (art. 83 let. c ch. 4 LTF). Ce point ne peut être contesté auprès du Tribunal fédéral qu'au moyen du recours constitutionnel subsidiaire contre une décision cantonale de dernière instance. Dans ce cas, le recours doit néanmoins respecter le devoir de motivation accru (<ref-law> par renvoi de l'<ref-law>; <ref-ruling> consid. 3.3). Dans la mesure où les recourants contestent l'arrêt de la Cour de justice sur ce point, sans expliquer en quoi ils disposent d'un intérêt juridiquement protégé (cf. <ref-law>), respectivement sans invoquer la violation de droits fondamentaux en lien avec leur renvoi (cf. <ref-law>, par renvoi de l'<ref-law>), il n'y a pas lieu d'entrer en matière sur leurs vision et appréciation. Leur motivation ne remplit pas les conditions légales en ce qui concerne leur renvoi (cf. <ref-ruling> consid. 3.3; arrêt 2C_1009/2018 du 30 janvier 2019 consid. 1.3 et les références).
2.
Dans un premier grief, les recourants invoquent un établissement inexact des faits de la part de la Cour de justice, en lien avec les éléments de fait ayant conduit cette autorité à retenir qu'ils avaient déplacé le centre de leurs intérêts au Kosovo.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
2.2. La Cour de justice, dans l'arrêt entrepris, a retenu que les enfants du couple avaient vécu et étaient scolarisés au Kosovo depuis le 1er septembre 2010. Elle a mis en doute leur présence en Suisse durant les vacances scolaires, faute de moyens de preuve, tels par exemple des titres de transport. Quant à la mère de la famille recourante, l'autorité précédente a retenu qu'elle n'avait plus perçu de prestations d'aide sociale dès 2011, à défaut de domicile à Genève et qu'à chaque passage de l'enquêteur de l'Office cantonal, elle était absente de l'appartement, ne se rendant par ailleurs pas à l'entretien auprès de cet office. Son mari avait au demeurant reconnu qu'elle vivait au Kosovo avec les enfants, mais revenait pour les vacances. La Cour de justice a également retenu qu'entre 2010 et 2017, le père de la famille se trouvait plus souvent à Genève que les autres membres. Elle a néanmoins constaté que lors des contrôles opérés par l'Office cantonal en 2011, 2012 et 2016, il ne se trouvait pas dans son appartement. Il n'avait par ailleurs retiré aucun des courriers recommandés envoyés par l'Office cantonal entre 2011 et 2014 et ne s'était plus présenté à l'office de l'aide sociale dès mai 2015. La Cour de justice a continué en retenant que les relevés du compte bancaire du recourant faisaient montre, entre mars 2014 et février 2016, de nombreux retraits d'argent au Kosovo (84 sur 118), plusieurs fois par mois. Elle a finalement constaté que, malgré les sollicitations de l'Office cantonal, les recourants ne s'étaient pas conformés à leur devoir de collaboration, ne produisant que quelques pièces peu probantes pour établir leurs prétendus voyages entre la Suisse et le Kosovo et ne remettant en particulier pas de preuves telles des attestations de paiement de loyer, des factures de téléphone, d'électricité ou d'abonnement de transports publics, des relevés bancaires ou postaux. La Cour de justice a déduit de ces faits que les recourants avaient quitté la Suisse pour le Kosovo à la fin de l'année 2010.
2.3. Pour leur part, les recourants reconnaissent que les enfants ont été scolarisés dans leur pays d'origine entre 2010 et 2017. Ils estiment en revanche avoir fourni plusieurs pièces attestant de leurs retours réguliers en Suisse pour les vacances scolaires. Ils rappellent par ailleurs que seize personnes ont attesté que les enfants étaient présents à Genève durant les vacances. Les recourants mentionnent de plus que les deux enfants aînés ont facilement retrouvé du travail depuis leur retour en Suisse, ce qui démontre qu'ils étaient parfaitement intégrés dans ce pays. Les recourants reconnaissent également que la mère de la famille retournait fréquemment au Kosovo et que c'est pour cette raison qu'elle n'était pas présente dans leur appartement et ne percevait plus l'aide sociale. Ils ajoutent que si l'épouse se rendait plus souvent que le mari dans leur pays d'origine, c'est en raison du fait que les enfants résidaient chez sa mère et que les époux avaient décidé de vivre en Suisse, dans l'espoir d'améliorer leur situation. Ils considèrent cette explication comme étant plausible et sont d'avis que la Cour de justice ne disposait d'aucune contre-preuve pour aller à son encontre. Finalement, les recourants estiment encore que le simple fait, pour le père de la famille recourante, de ne pas avoir été chez lui à trois reprises lors des visites surprises de l'Office cantonal ne permet pas d'exclure sa présence en Suisse, pas plus que l'absence de retrait du courrier recommandé. Les recourants expliquent encore que le père ne s'est plus rendu auprès de l'office de l'aide sociale en raison d'un conflit avec sa conseillère et qu'il disposait de deux cartes bancaires, effectuant des transactions en Suisse avec la seconde. Ils contestent finalement ne pas avoir collaboré à l'établissement des faits.
2.4. En l'occurrence, on commencera par rappeler que ce n'est pas parce qu'une autre appréciation des faits que celle effectuée par l'autorité précédente paraît concevable, voire même préférable, que l'appréciation de cette autorité doit être considérée comme étant arbitraire (<ref-ruling> consid. 6.1; arrêt 2C_1063/2018 du 15 février 2019 consid. 2.4). Dans le cas d'espèce, les recourants présentent essentiellement leurs propres vision et appréciation des faits en se limitant à contester celles de la Cour de justice. Une telle façon de procéder ne remplit pas les conditions de l'<ref-law>. Retenir, comme l'a fait l'autorité précédente sur la base des faits présentés ci-dessus, que les recourants ont déplacé le centre de leurs intérêts au Kosovo n'est aucunement arbitraire. S'agissant en premier lieu des parents, il n'est à tout le moins pas arbitraire de considérer qu'ils ne se trouvaient plus en Suisse sur le vu de l'absence de présence à leur appartement, de l'absence de retrait de courriers recommandés et de l'absence de perception de l'aide sociale. Si l'un ou l'autre de ces éléments pourrait certes ne pas suffire à exclure une présence en Suisse des recourants, leur prise en compte commune ne rend nullement l'arrêt de la Cour de justice insoutenable. A cela s'ajoute que les recourants n'ont pas réussi à démontrer par des moyens de preuve suffisants qu'ils vivaient effectivement à Genève. On aurait en effet pu attendre d'eux qu'ils produisent une facture d'électricité ou de transports publics. Finalement, et cet élément est déterminant et permet d'exclure tout arbitraire dans l'appréciation de l'autorité précédente, la plus grande partie des retraits d'argent effectués par le recourant, respectivement par la recourante, l'a été au Kosovo. Affirmer être au bénéfice d'un second compte, sans toutefois ne produire aucun document apte à établir la véracité de cette affirmation, ne saurait suffire pour rendre l'établissement des faits par la Cour de justice arbitraire. Quant aux enfants, il n'est pas contesté qu'ils ont vécu dans leur pays d'origine de 2010 à 2017.
2.5. Sur le vu de ce qui précède, il convient d'écarter le grief d'établissement inexact des faits soulevé par les recourants. Le Tribunal fédéral appliquera donc le droit sur la seule base des faits retenus par la Cour de justice.
3.
Les recourants font ensuite valoir que l'arrêt de la Cour de justice viole l'art. 61 al. 2 LEtr.
3.1. A teneur de l'art. 61 al. 1 let. a LEtr, l'autorisation d'établissement prend fin lorsque l'étranger déclare son départ de Suisse. En outre, si un étranger quitte la Suisse sans déclarer son départ, son autorisation d'établissement prend automatiquement fin après six mois. Sur demande, l'autorisation d'établissement peut être maintenue pendant quatre ans (art. 61 al. 2 LEtr). Le législateur a ainsi décidé que l'extinction de l'autorisation d'établissement pouvait intervenir de deux manières, soit lorsque l'étranger annonce son départ de Suisse, soit lorsque celui-ci quitte la Suisse pour plus de six mois. Quant à cette seconde hypothèse, le Tribunal fédéral a déjà jugé qu'en principe, l'absence de plus de six mois devait être ininterrompue, mais que ce délai n'était pas interrompu lorsque l'étranger revenait en Suisse avant son échéance non pas durablement, mais uniquement pour des séjours d'affaires ou de visite (<ref-ruling> consid. 2c). Sur la base de cette jurisprudence, le Conseil fédéral a arrêté l'art. 79 al. 1 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), qui dispose que les délais prévus à l'art. 61 al. 2 LEtr, ne sont pas interrompus en cas de séjour temporaire en Suisse à des fins de visite, de tourisme ou d'affaires (cf. <ref-ruling> consid. 2.3). Lorsque l'étranger passe plusieurs années dans son pays d'origine, tout en interrompant régulièrement le délai de six mois de l'art. 61 al. 2 LEtr par un séjour en Suisse, l'extinction de l'autorisation d'établissement doit dépendre de son centre d'intérêts (arrêt 2C_853/2010 du 22 mars 2011 consid. 5.1 et les références). La jurisprudence admet notamment, dans certaines limites, qu'un enfant qui retourne dans sa patrie pour y acquérir une formation puisse rester au bénéfice d'une autorisation d'établissement, s'il revient en Suisse dans le délai de six mois pour passer toutes les vacances scolaires auprès de ses parents. Cependant une telle situation ne doit pas durer trop longtemps; sinon il y a lieu de considérer que le centre d'intérêts de l'enfant se trouve dans son pays d'origine et que son autorisation d'établissement a pris fin (arrêt 2C_853/2010 du 22 mars 2011 consid. 5.1 et les références). En outre, cette jurisprudence suppose que les parents conservent pour leur part leur centre d'intérêts en Suisse.
3.2. En l'espèce, sur la base des faits retenus par l'autorité précédente, on peut considérer que les deux parents recourants ont déplacé leur centre d'intérêts dans leur pays d'origine, dès la fin de l'année 2010 pour la mère et à tout le moins depuis 2011 pour le père. En effet, ils n'ont pas fait état d'une situation stable en Suisse y nécessitant leur présence, aucun des deux ne disposant en particulier d'une activité lucrative. En outre, alors qu'ils émargeaient tous deux à l'aide sociale, la mère dès 2011 et le père en 2015, n'ont plus perçu cette aide. Celle-ci n'a d'ailleurs plus été versée à la mère en raison de son absence de domicile à Genève, constatée par l'office de l'aide sociale. Les quatre enfants du couple ont suivi leur scolarité au Kosovo dès 2010, ce qui tend également à confirmer l'existence du centre d'intérêts de la famille dans ce pays, en particulier sur le vu de l'absence d'attaches professionnelles des parents en Suisse. A cela s'ajoute que les retraits d'argent effectués par le recourant l'ont pratiquement tous été dans son pays d'origine, démontrant ainsi son absence de Suisse. Cette absence a de plus été constatée par l'enquêteur de l'Office cantonal, qui, à plusieurs reprises, n'a pas trouvé les recourants à leur appartement, au même titre que le facteur, qui n'a jamais réussi à leur remettre les envois recommandés envoyés par l'Office cantonal, envois qui n'ont d'ailleurs pas été retirés au guichet postal par les recourants. On doit finalement ajouter, comme l'a fait l'autorité précédente, que les recourants n'ont pas réussi à démontrer avoir vécu en Suisse durant une importante période, alors qu'il aurait été relativement facile d'apporter des moyens de preuve à ce propos.
Quant aux enfants, ceux-ci ont été scolarisés dans leur pays d'origine dès 2010, respectivement 2013 pour le cadet. Certes, les recourants invoquent la jurisprudence précitée (arrêt 2C_853/2010 du 22 mars 2011 consid. 5.1 et les références) et le fait que les enfants revenaient en Suisse dans le délai de six mois pour passer toutes les vacances scolaires auprès de leurs parents. Cette jurisprudence ne saurait toutefois s'appliquer à leur cas, puisque leurs parents ne se trouvaient justement plus en Suisse, mais au Kosovo et que cette situation a duré près de sept ans, ce qui constitue une durée particulièrement longue, excluant le maintien de l'autorisation d'établissement.
3.3. Sur la base des éléments susmentionnés, la Cour de justice a ainsi confirmé à juste titre que les autorisations d'établissement des recourants avaient pris fin automatiquement, en précisant que le délai d'extinction n'avait pas été interrompu par les séjours temporaires que les recourants avaient éventuellement effectués en Suisse. En rendant l'arrêt attaqué, la Cour de justice a appliqué correctement le droit fédéral, notamment les art. 61 al. 2 LEtr et 79 OASA, ainsi que la jurisprudence rappelée ci-dessus.
On ajoutera qu'il n'est aucunement question de violation du principe de la bonne foi par les autorités cantonales. Les recourants estiment qu'en prolongeant régulièrement leurs autorisations d'établissement, l'Office cantonal leur a donné l'assurance qu'ils y avaient droit. Tout d'abord, on mentionnera que cet office leur a adressé un courrier le 16 décembre 2011, dans lequel il était expliqué qu'ils avaient l'obligation de résider en Suisse pour éviter l'extinction de leurs autorisations d'établissement, si bien qu'on peut douter que les recourants ne se soient jamais rendus compte que le déplacement de leur centre d'intérêts au Kosovo pourrait avoir pour effet une telle extinction. De plus et surtout, les recourants perdent de vue que l'autorisation d'établissement est octroyée pour une durée indéterminée et sans condition (cf. art. 34 al. 1 LEtr) et que la durée de cinq ans de validité du titre de séjour n'existe qu'à des fins de contrôle (cf. art. 41 al. 3 LEtr). Ce titre de séjour n'a ainsi pas d'effet sur l'existence de l'autorisation d'établissement et sa prolongation peut intervenir sans que les conditions de l'autorisation ne soient nécessairement examinées. Par conséquent, la prolongation du titre de séjour n'est pas à même de faire naître chez l'étranger l'assurance que les conditions de son autorisation ont été vérifiées, respectivement qu'il y a effectivement toujours droit (cf. arrêt 2C_1060/2020 du 19 février 2021 consid. 3.3 et les références).
4.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (<ref-law>). Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué à la mandataire des recourants, à l'Office cantonal de la population et des migrations et à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 11 juin 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette