Faits :
A.
A.a. A._ a été engagé à l'Office cantonal de l'emploi (ci-après: OCE) en qualité de conseiller en personnel dès le 1 er août 2003. Il a été nommé fonctionnaire le 1 er août 2006.
Lors d'un entretien de service le 22 juillet 2019, A._ a été informé que des anomalies avaient été constatées dans la tenue de son portefeuille de demandeurs d'emploi. Il était apparu qu'il avait enregistré des entretiens, alors que ces derniers n'avaient pas eu lieu, et les avait même parfois assortis de procès-verbaux. A cette occasion, A._ a également été avisé que la résiliation des rapports de service était envisagée et qu'il était libéré de son obligation de travailler.
Par décision du 23 septembre 2019, le Conseiller d'Etat en charge du département de la sécurité, de l'emploi et de la santé (ci-après: DSES) a constaté l'existence d'un motif de résiliation des rapports de service et a ordonné l'ouverture d'une procédure de reclassement d'une durée de deux mois.
A._ a été en incapacité de travail pour cause de maladie dès le 28 janvier 2020. Le 25 février 2020, le Conseiller d'Etat en charge du DSES a indiqué à A._ qu'au vu de son incapacité de travail, la décision de licenciement lui serait notifiée en temps opportun.
A.b. Le 12 mai 2020, A._ a informé l'OCE que son médecin l'avait autorisé à reprendre un emploi dès le 1 er juin 2020 et qu'il avait signé un contrat de travail pour un emploi devant commencer à cette date. Il demandait le versement de la différence de salaire jusqu'à l'échéance des rapports de service et annonçait qu'il contesterait la décision de licenciement lorsqu'elle lui serait notifiée.
Le 15 mai 2020, le Conseiller d'Etat en charge du DSES a pris bonne note de la démission de A._ avec effet au 31 mai 2020. La résiliation sans respecter l'échéance de trois mois était acceptée, pour solde de tout compte s'agissant des vacances et d'éventuelles heures excédentaires ou supplémentaires, la dispense de l'obligation de travailler depuis le mois de juillet 2019 étant prise en considération. La demande de compensation de salaire était considérée "manifestement hors de propos à tout point de vue".
Le 29 mai 2020, A._ a contesté avoir démissionné. Il avait conclu un contrat de travail en vertu de son obligation de réduire le dommage. Son courrier du 12 mai 2020 ne pouvait pas être assimilé à une démission ou à une offre visant à mettre fin d'un commun accord de façon anticipée aux rapports de travail.
Le 15 juin 2020, l'OCE a confirmé son point de vue et a indiqué qu'aucune décision formelle n'avait à être rendue puisque A._ avait lui-même démissionné.
B.
Le 17 août 2020, A._ a recouru auprès de la Chambre administrative de la Cour de justice de la République et canton de Genève (ci-après: la Chambre administrative). Il a en substance conclu à ce que le courrier du 15 juin 2020 de l'OCE soit annulé, à ce qu'il soit dit que les rapports de service se poursuivaient au-delà du 31 mai 2020 et à ce que l'Etat de Genève soit condamné à lui verser chaque mois son traitement sous imputation du salaire réalisé dans son nouvel emploi, avec intérêts moratoires.
Par arrêt du 2 mars 2021, la Chambre administrative a rejeté le recours.
C.
A._ forme un recours en matière de droit public et un recours constitutionnel subsidiaire contre cet arrêt, concluant principalement à son annulation, à ce qu'il soit dit et constaté que ses rapports de service avec l'Etat de Genève se poursuivent au-delà du 31 mai 2020, et à la condamnation de l'Etat de Genève de continuer à lui verser son traitement pour la période postérieure au 31 mai 2020 avec intérêts, sous imputation du salaire réalisé dans son nouvel emploi depuis le 1 er juin 2020.
La Chambre administrative s'en rapporte à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt. L'intimé a conclu au rejet du recours dans la mesure de sa recevabilité. Le recourant a déposé une brève réplique, persistant intégralement dans la motivation et les conclusions de son recours.

Considérant en droit :
1.
1.1. La présente cause est une contestation de nature pécuniaire en matière de rapports de travail de droit public, de sorte que le motif d'exclusion de l'art. 83 let. g LTF ne s'applique pas. En outre, la valeur litigieuse dépasse le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 1 let. a et al. 2 et art. 85 al. 1 let. b LTF). Pour le surplus, déposé en temps utile et dans les formes requises, le recours est recevable au regard des art. 42, 90 et 100 al. 1 LTF; partant, le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
1.2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). En bref, il ne suffit pas, pour qu'il y ait arbitraire, que la décision attaquée apparaisse discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat. Par conséquent, le recourant doit exposer, de manière détaillée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis comme s'il s'adressait à une juridiction d'appel (<ref-ruling> consid. 3). Le Tribunal fédéral n'entre ainsi pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1).
1.3. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, il n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant (<ref-law>). Sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), on ne peut pas invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> a contrario). Il est néanmoins possible de faire valoir que son application viole le droit fédéral, en particulier l'interdiction de l'arbitraire (art. 9 Cst.) ou d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 3.2 et la référence).
1.4. Appelé à revoir l'interprétation d'une norme cantonale sous l'angle de l'arbitraire, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'application de la loi défendue par l'autorité cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, cette interprétation sera confirmée, même si une autre solution - même préférable - paraît possible (<ref-ruling> consid. 7.1).
2.
Par application "à tout le moins analogique" de l'<ref-law> aux résiliations des rapports de service, l'autorité cantonale a dans un premier temps retenu que, tandis que le recourant n'avait indiqué ni démissionner ni résilier les rapports de service dans son courrier du 12 mai 2020, l'OCE avait traité ce dernier comme une démission. Elle a considéré qu'il y avait dès lors lieu de déterminer quelle portée l'intimé pouvait de bonne foi accorder à ce courrier compte tenu des circonstances. La cour cantonale a en substance jugé que la décision de l'OCE du 8 juillet 2019 (qui libérait le recourant de l'obligation de travailler "jusqu'à nouvel avis", lui signalait que cette mesure était "sans incidence sur son traitement" mais lui enjoignait de "se tenir en tout temps à la disposition de son employeur, tout en veillant à prendre des vacances") excluait sans équivoque que le recourant s'engage auprès d'un tiers aussi longtemps que duraient les rapports de service et, a fortiori, toute obligation de "réduire le dommage". Elle a ainsi estimé qu'il n'était pas nécessaire de trancher la question d'une éventuelle application par analogie de l'<ref-law>, aux termes duquel le travailleur impute sur son salaire notamment ce qu'il a gagné en exécutant un autre travail. Elle a par ailleurs relevé que le recourant avait multiplié les démarches, tant dans le secteur public que privé, pour trouver un emploi dans le cadre de la procédure de reclassement. Elle a dès lors considéré que, lorsque le recourant avait annoncé le 12 mai 2020 qu'il avait signé un contrat et commençait son nouveau travail le 1 er juin 2020, l'OCE pouvait de bonne foi comprendre que les démarches du recourant avaient abouti et que ce dernier remettait sa démission. Elle a ajouté que l'OCE était légitimé à n'accorder aucune portée à la qualification juridique que le recourant attachait à son courrier, dès lors que ce dernier ne pouvait pas ignorer qu'il devait rester disponible pendant la durée des rapports de service, de sorte que la manifestation unilatérale de son indisponibilité emportait forcément celle de sa démission.
3.
Le recourant se plaint dans un premier grief d'une constatation arbitraire des faits. Il reproche à l'autorité cantonale de ne pas avoir reproduit son courrier du 12 mai 2020 à l'OCE dans son intégralité alors que le litige porte sur l'interprétation de ce dernier. Le recourant n'indique cependant pas quels éléments l'autorité cantonale n'aurait pas pris en considération, et n'explique pas en quoi la simple reproduction intégrale du courrier serait décisive. La critique est dès lors infondée.
4.
Le recourant fait ensuite valoir une violation du principe de l'interdiction de l'arbitraire (art. 9 Cst.). Il reproche au tribunal cantonal d'avoir omis de rechercher dans un premier temps la volonté subjective des parties comme l'exige pourtant la jurisprudence constante du Tribunal fédéral. Force est cependant d'observer que l'arrêt attaqué mentionne clairement l'existence d'un désaccord entre les parties, raison pour laquelle l'autorité cantonale a ensuite procédé à une interprétation selon le principe de la confiance (cf. <ref-ruling> consid. 5.2.3; arrêt 4A_328/2014 du 6 octobre 2014 consid. 3.2). En réalité, les arguments développés par le recourant sous ce grief visent davantage l'interprétation objective, raison pour laquelle ils seront examinés ci-après (cf. consid. 5 infra).
5.
Toujours sous l'angle de l'arbitraire, le recourant remet en cause l'interprétation objective adoptée dans l'arrêt attaqué. Il se limite toutefois principalement à reprocher à l'autorité cantonale d'avoir ignoré la teneur, dépourvue d'ambiguïté selon lui, de son courrier du 12 mai 2020. Il méconnaît cependant de la sorte que, même s'il est apparemment clair, le sens d'un texte écrit n'est pas nécessairement déterminant (cf. <ref-ruling> consid. 5.2). Or il ne discute pas les arguments avancés par l'autorité cantonale pour conclure que le courrier du 12 mai 2020 pouvait objectivement être compris comme une démission. Il fait en particulier totalement abstraction de la décision de l'OCE du 8 juillet 2019 et de la procédure de reclassement, étant précisé à cet égard qu'il a lui-même sollicité un reclassement dans son courrier du 1 er octobre 2019 au Conseiller d'Etat en charge du DSES et qu'il n'a pas recouru contre la décision d'ouverture de la procédure de reclassement. Il indique par ailleurs lui-même dans son recours qu'il a accepté "une solution de reclassement dans le privé" (par. 60 du recours, p. 20), confirmant ainsi que l'intimé était légitimé à comprendre que ses démarches dans le cadre de la procédure de reclassement avaient abouti, comme l'a retenu l'autorité cantonale. Enfin, contrairement à ce que le recourant semble penser, l'autorité cantonale n'a pas retenu qu'en prenant un nouvel emploi, il avait agi contre les intérêts de son employeur. Le recourant n'explique du reste pas en quoi une prétendue obligation de réduire le dommage serait déterminante dans le présent contexte, étant précisé qu'une telle obligation a quoi qu'il en soit été niée par l'autorité cantonale et que la question d'une éventuelle application par analogie de l'<ref-law> a été laissée ouverte. Il résulte de ce qui précède que l'on ne saurait conclure que l'autorité cantonale a fait preuve d'arbitraire en jugeant que l'intimé avait considéré à bon droit que le recourant avait donné sa démission avec effet au 1 er juin 2020 et qu'aucun salaire n'était dès lors plus dû dès cette date.
6.
Dans un dernier grief, le recourant, faisant référence à l'<ref-ruling>, se plaint d'une violation de la garantie de l'accès au juge. Il fait valoir qu'en qualifiant arbitrairement son courrier du 12 mai 2020 de démission, l'autorité cantonale l'aurait privé de la possibilité de contester le licenciement déjà annoncé. Or, l'arrêt cité n'est d'aucun secours au recourant. Contrairement à ce qui était le cas dans l'affaire ayant donné lieu à l'<ref-ruling>, le recourant n'a en effet pas contesté l'ouverture de la procédure de reclassement. L'arrêt attaqué retient du reste qu'il s'est montré proactif dans le cadre de ladite procédure, multipliant les démarches en direction de l'Etat et d'employeurs privés pour retrouver un emploi. Le recourant ne saurait dès lors se plaindre d'être privé de la possibilité de contester la décision de licenciement qui avait été annoncée et qui était imminente, puisqu'il avait accepté qu'en cas de succès de la procédure de reclassement, il n'aurait pas cette faculté. On ne voit pas, et le recourant ne l'explique pas, pourquoi il devrait en aller différemment en l'espèce. La garantie de l'accès au juge n'a dès lors pas été violée.
7.
Il résulte de ce qui précède que le recours en matière de droit public doit être rejeté. Bien qu'il obtienne gain de cause, l'intimé n'a pas droit à des dépens (<ref-law>; voir aussi arrêt 8C_151/2010 du 31 août 2010 consid. 6. 1 et les références).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
Les frais judiciaires, arrêtés à 1000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lucerne, le 11 janvier 2022
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : Maillard
La Greffière : Fretz Perrin