Faits :
A.
A.a. A._, né le 9 septembre 1976, est ressortissant du Kosovo. Le 21 décembre 2011, il a épousé B._, née le 12 septembre 1983, également ressortissante du Kosovo. Le couple a deux enfants : C._, né le 26 juillet 2001, et D._, né le 13 novembre 2004.
Selon ses déclarations, A._ est arrivé pour la première fois en Suisse en 2005 et y a exercé différents emplois dans le domaine de la restauration et de la construction, mais sans autorisation de travail. Jusqu'à ce qu'il entreprenne une procédure de changement de nom au Kosovo, en décembre 2012, il s'appelait E._.
Depuis 2012, A._ a fait l'objet de trois interdictions d'entrée en Suisse, valables respectivement du 30 juillet 2012 au 29 juillet 2014, du 30 juillet 2014 au 21 novembre 2016 et du 22 novembre 2016 au 21 novembre 2017. Par ordonnance pénale du 3 octobre 2013, A._ a été condamné à une peine pécuniaire de soixante jours-amende avec sursis pendant trois ans, pour entrée illégale et séjour illégal en Suisse.
A.b. Par formulaire du 2 août 2018, la société F._ Sàrl a déposé une demande d'autorisation de séjour avec activité lucrative en faveur d'A._, en qualité d'aide-étancheur, avec un salaire mensuel de 4'000 fr.
Selon attestations de l'Office cantonal de la population et des migrations de la République et canton de Genève (ci-après : l'Office cantonal) du 30 août 2018, B._et ses deux enfants ont déposé une demande d'autorisation de séjour.
Par décision du 7 septembre 2018, l'Office cantonal de l'inspection et des relations du travail de la République et canton de Genève a refusé de délivrer à A._ l'autorisation de séjour avec activité lucrative. Le recours interjeté par celui-ci contre cette décision auprès du Tribunal administratif de première instance de la République et canton de Genève (ci-après: le Tribunal administratif de première instance) a été rejeté par jugement du 28 mars 2019. Cette décision n'a pas été contestée.
B.
Par courriers des 4 et 30 octobre 2018, A._ et B._ ont déposé auprès de l'Office cantonal une demande d'autorisation de séjour pour eux et leurs deux enfants mineurs, assortie d'une requête de mesures provisionnelles. Ils ont invoqué un cas individuel d'extrême gravité au sens de l'art. 30 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration [LEI; RS 142.20]).
Par décision du 7 août 2019, l'Office cantonal, après avoir entendu les intéressés, a refusé de leur octroyer une autorisation de séjour et prononcé leur renvoi en leur impartissant un délai au 30 septembre 2019 pour quitter le territoire suisse.
Le 20 février 2020, le Tribunal administratif de première instance a rejeté le recours formé par les intéressés contre la décision précitée du 7 août 2019.
Par arrêt du 1er décembre 2020, la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Cour de justice) a rejeté le recours interjeté par les intéressés contre ce jugement.
C.
Agissant par la voie du recours constitutionnel subsidiaire, A._, B._ et leur deux enfants, C._ et D._, demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt de la Cour de justice du 1er décembre 2020, ainsi que la décision de l'Office cantonal du 7 août 2019, de dire que leur renvoi au Kosovo est illicite et de renvoyer la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants, en ce sens qu'une autorisation de séjour pour cas d'extrême gravité leur soit octroyée.
L'effet suspensif au recours a été accordé par ordonnance présidentielle du 26 janvier 2021.
La Cour de justice renonce à se déterminer et persiste dans les considérants et le dispositif de son arrêt. L'Office cantonal indique ne pas avoir d'observations particulières à formuler et conclut au rejet du recours. Le Secrétariat d'État aux migrations ne s'est pas prononcé.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c LTF, en droit des étrangers, le recours en matière de droit public est irrecevable à l'encontre des décisions qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2), ainsi que contre celles qui concernent les dérogations aux conditions d'admission (ch. 5). En raison de sa formulation potestative, l'art. 30 al. 1 let. b LEtr (applicable, du fait que la demande d'autorisation de séjour a été déposée avant le 1er janvier 2019; cf. art. 126 al 1 LEI) ne confère aucun droit aux recourants. Le recours en matière de droit public est également irrecevable à l'encontre des décisions qui concernent le renvoi (art. 83 let. c ch. 4 LTF).
Les recourants, qui ont considéré que les conditions de l'art. 83 let. c LTF n'étaient pas remplies, ont toutefois invoqué une violation de l'art. 8 CEDH. Cette disposition, si elle est invoquée de façon défendable est susceptible d'ouvrir la voie du recours en matière de droit public (cf. <ref-ruling> consid. 1.1). Tel n'est pas le cas en l'espèce. Que ce soit sous l'angle du droit au respect de la vie privée ou familiale, les recourants ne présentent pas d'éléments qui leur permettraient de se prévaloir de l'art. 8 CEDH. En particulier, aucun d'eux n'a séjourné légalement en Suisse pendant au moins dix ans (cf. <ref-ruling> consid. 3.9) et ils n'invoquent pas de lien avec un membre de leur famille qui disposerait d'un droit durable à séjourner dans ce pays (cf. <ref-ruling> consid. 2.1).
Les recourants ont donc déposé à juste titre un recours constitutionnel subsidiaire (<ref-law>).
1.2. Les recourants, invoquant en particulier la violation des art. 25 al. 3 Cst. et 3 CEDH, droits constitutionnels dont ils sont titulaires, ont un intérêt juridique à l'annulation ou à la modification de la décision attaquée qui a pour résultat de les renvoyer de Suisse (<ref-law>). Le présent recours constitutionnel subsidiaire a par ailleurs été déposé dans le délai (cf. art. 46 al. 1 let. c et 100 al. 1 en relation avec l'<ref-law>) et en la forme (cf. <ref-law>) prévus par la loi. Dirigé contre un jugement final (art. 90 en relation avec l'<ref-law>) rendu par un tribunal supérieur statuant en dernière instance cantonale (art. 86 al. 1 let. d et al. 2 en relation avec l'<ref-law>), il est donc en principe recevable.
1.3. Le Tribunal fédéral ne pouvant pas examiner si et dans quelle mesure les autorités cantonales auraient dû accorder une autorisation pour cas de rigueur (cf. supra consid. 1.1), la conclusion des recourants tendant à l'octroi d'une autorisation de séjour est irrecevable (arrêt 2D_5/2017 du 14 février 2017 consid. 5.2). Il en va de même de la conclusion du recours visant l'annulation de la décision de l'Office cantonal, en raison de l'effet dévolutif complet du recours (<ref-ruling> consid. 1.2).
2.
2.1. Le recours constitutionnel subsidiaire ne peut être formé que pour violation des droits constitutionnels (<ref-law>). En vertu de l'<ref-law>, applicable par renvoi de l'<ref-law>, les griefs y relatifs doivent être invoqués et motivés par le recourant, à savoir expressément soulevés et exposés de manière claire et détaillée, en précisant en quoi consiste la violation (cf. <ref-ruling> consid. 2.2). Celui-ci ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit remettre en cause les considérants de la décision attaquée sous des aspects relevant des droits constitutionnels (<ref-ruling> consid. 3; arrêt 2D_31/2018 du 1er février 2019 consid. 2.1).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter les constatations de cette autorité si les faits ont été constatés en violation d'un droit constitutionnel (<ref-law> cum <ref-law>), ce que le recourant doit démontrer d'une manière circonstanciée et précise, conformément aux exigences de motivation posées à l'<ref-law> (par renvoi de l'<ref-law>).
En l'espèce, les recourants ne remettent pas en question les faits constatés sous l'angle de l'arbitraire, conformément aux exigences de l'<ref-law>. Ils se contentent, dans une argumentation partiellement appellatoire, de présenter leurs propres vision et appréciation des faits et à les opposer à celles de la Cour de justice, ce qui ne saurait être admis. Le Tribunal fédéral doit par conséquent examiner la correcte application du droit sur la seule base des faits retenus.
3.
Les recourants se plaignent d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.). Ils reprochent à l'autorité précédente de ne pas avoir donné suite à leurs réquisitions de preuves tendant à l'audition de la recourante et à la mise en oeuvre d'une expertise médicale portant sur sa personne.
3.1. Le droit d'être entendu, garanti à l'art. 29 al. 2 Cst., comprend notamment celui de produire ou de faire administrer des preuves, à condition qu'elles soient pertinentes et de nature à influer sur la décision à rendre (<ref-ruling> consid. 7.2.2.1; <ref-ruling> consid. 2.3; <ref-ruling> consid. 6.3.1 et les références citées). Le droit d'être entendu n'empêche pas le juge de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de se forger une conviction et que, procédant de manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, il a la certitude qu'elles ne pourraient pas l'amener à modifier son opinion. Le refus d'une mesure probatoire par appréciation anticipée des preuves ne peut être remis en cause devant le Tribunal fédéral qu'en invoquant l'arbitraire (art. 9 Cst.) de manière claire et détaillée (cf. <ref-law>; <ref-ruling> consid. 3.1.3; <ref-ruling> consid. 3.3; <ref-ruling> consid. 4.3.2; arrêt 2C_112/2020 du 9 juin 2020 consid. 3.1).
3.2. En l'occurrence, il ressort de l'arrêt attaqué qu'au terme d'une appréciation anticipée des preuves, la Cour de justice a considéré que les mesures d'instruction sollicitées n'étaient pas de nature à modifier sa décision et y a donc renoncé. Les recourants n'exposent pas, conformément aux exigences de motivation accrues de l'<ref-law>, en quoi l'appréciation à laquelle a procédé l'autorité précédente serait insoutenable. En particulier, ils n'expliquent pas pour quelles raisons les documents médicaux au dossier ne permettaient pas aux juges cantonaux de se forger une opinion sur la cause, ni pour quels motifs l'audition et l'expertise demandées auraient été indispensables.
Le grief de violation du droit d'être entendu doit partant être écarté.
4.
4.1. Selon la jurisprudence de la Cour européenne des droits de l'homme (ci-après: CourEDH), l'exécution du renvoi ou de l'expulsion d'un malade physique ou mental est exceptionnellement susceptible de soulever une question sous l'angle de l'art. 3 CEDH si la maladie atteint un certain degré de gravité et qu'il est suffisamment établi que, en cas de renvoi vers l'État d'origine, la personne malade court un risque sérieux et concret d'être soumise à un traitement interdit par cette disposition (arrêt N. c. Royaume-Uni du 27 mai 2008 [requête n° 26565/05], § 29 et suivants). C'est notamment le cas si sa vie est en danger et que l'État vers lequel elle doit être expulsée n'offre pas de soins médicaux suffisants et qu'aucun membre de sa famille ne peut subvenir à ses besoins vitaux les plus élémentaires (cf. arrêt N. c. Royaume-Uni précité § 42; <ref-ruling> consid. 4.3; arrêts 2D_14/2018 du 13 août 2018 consid. 4.1; 2C_1130/2013 du 23 janvier 2015 consid. 3). Le renvoi d'un étranger malade vers un pays où les moyens de traiter sa maladie sont inférieurs à ceux disponibles dans l'État contractant reste compatible avec l'art. 3 CEDH, sauf dans des cas très exceptionnels, en présence de considérations humanitaires impérieuses (cf. arrêts N. c. Royaume-Uni précité § 42; Emre c. Suisse du 22 mai 2008 [requête n° 42034/04] § 89).
4.2. Dans son arrêt du 13 décembre 2016, en la cause Paposhvili c. Belgique (requête n° 41738/10), la Grande Chambre de la CourEDH a clarifié son approche en rapport avec l'éloignement de personnes gravement malades et a précisé qu'à côté des situations de décès imminent, il fallait entendre par "autres cas très exceptionnels" pouvant soulever un problème au regard de l'art. 3 CEDH, les cas d'éloignement d'une personne gravement malade dans lesquels il y a des motifs sérieux de croire que cette personne, bien que ne courant pas de risque imminent de mourir, ferait face, en raison de l'absence de traitements adéquats dans le pays de destination ou de défaut d'accès à ceux-ci, à un risque réel d'être exposée à un déclin grave, rapide et irréversible de son état de santé entraînant des souffrances intenses ou à une réduction significative de son espérance de vie; ces cas correspondent à un seuil élevé pour l'application de l'art. 3 de la Convention dans les affaires relatives à l'éloignement des étrangers gravement malades (§ 183).
4.3. En l'occurrence, il ressort de l'arrêt entrepris que la recourante souffre d'un état de stress post-traumatique consécutif à un viol qu'elle aurait subi au Kosovo en mars 2017 et que le traitement actuellement suivi en Suisse pourra être poursuivi dans ce pays, bien que cela puisse péjorer sa situation.
Sur le vu de ces éléments, les conditions exceptionnelles permettant de retenir une violation de l'art. 3 CEDH ne sont pas remplies. Sans minimiser les affections dont elle souffre, la recourante ne se trouve pas dans une situation de décès imminent, ni atteinte d'une maladie mortelle sans traitement ou d'une maladie conduisant nécessairement sans traitement à un déclin grave, rapide et irréversible de son état de santé. En outre, comme le relève à juste titre l'autorité précédente, il n'est pas établi que la recourante ne pourra pas continuer ses traitements au Kosovo. Le seul rapport médical du 16 mars 2020, indiquant que la continuité du suivi psychiatrique et psychothérapeutique serait impossible dans ce pays, ne suffit pas à démontrer l'impossibilité de poursuivre la thérapie dans ce pays (concernant les possibilités de traitement des maladies psychiques au Kosovo, cf. arrêts 2C_112/2020 du 9 juin 2020 consid. 5.3; 2D_14/2018 du 13 août 2018 consid. 5.2; 2C_974/2015 du 5 avril 2016 consid. 3.3; concernant en particulier le trouble de stress post-traumatique; cf. arrêt 2D_14/2018 du 13 août 2018 consid. 5.2.1). Le risque de suicide invoqué par les recourants ne permet pas non plus de retenir une violation de l'art. 3 CEDH (cf. arrêt 2D_14/2018 du 13 août 2018 consid. 5.2.3 et les références, dont 2C_1130/2013 du 23 janvier 2015 consid. 3).
Enfin, les recourants n'établissent pas un risque concret et sérieux pour la recourante d'être confrontée à une répétition de son agression ou à des menaces de la part de ses agresseurs. Leurs simples allégations à cet égard ne suffisent pas. Au demeurant, les recourants ne sont pas contraints de retourner vivre dans le village d'origine de la recourante, dans lequel son agression aurait eu lieu.
Si un risque de réactivation des traumatismes de la recourante, en cas de retour au Kosovo, ne peut être exclu, il n'apparaît pas qu'ils l'exposeraient à un tel danger que la poursuite de son séjour en Suisse serait la seule issue humainement envisageable. Une atteinte aux droits protégés par l'art. 3 CEDH des autres membres de la famille n'est par ailleurs pas non plus établie.
5.
Les considérants qui précèdent conduisent au rejet du recours, dans la mesure où il est recevable. Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge des recourants solidairement entre eux.
3.
Le présent arrêt est communiqué au mandataire des recourants, à l'Office cantonal de la population et des migrations du canton de Genève, à la Cour de justice de la République et canton de Genève, Chambre administrative, 2ème section, et au Secrétariat d'Etat aux migrations.
Lausanne, le 14 avril 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier