Faits :
A.
Par décision du 15 janvier 2020, confirmée sur opposition le 6 mai 2020, le Service des prestations complémentaires de la République et canton de Genève (ci-après: le SPC) a rejeté la demande de prestations complémentaires à l'assurance-invalidité déposée par A._.
B.
Le 3 juillet 2020, A._ a déféré la décision du 6 mai 2020 à la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève. A l'appui de son écriture, il a indiqué qu'il n'avait eu connaissance de la décision attaquée que le 30 juin 2020, car celle-ci ne lui avait pas été notifiée directement (mais à l'Hospice général du canton de Genève). Invité à se déterminer, le SPC a conclu à l'irrecevabilité du recours pour cause de tardiveté. Par arrêt du 29 mars 2021, la Cour de justice a déclaré le recours recevable et fixé un délai au SPC pour répondre au recours.
C.
Le SPC forme un recours en matière de droit public contre cet arrêt dont il demande l'annulation.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 145 V 380 consid. 1 et les références).
2.
2.1. Le recours en matière de droit public au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure (art. 90 LTF), qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (art. 91 let. a LTF) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (art. 91 let. b LTF). Il est également recevable contre certaines décisions préjudicielles et incidentes. Il en va ainsi de celles qui concernent la compétence et les demandes de récusation (art. 92 LTF). Quant aux autres décisions préjudicielles et incidentes notifiées séparément, elles peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF).
2.2. En l'occurrence, l'arrêt attaqué, qui écarte le moyen tiré par le SPC de l'irrecevabilité du recours cantonal en raison de sa tardiveté, ne met pas fin à la procédure, laquelle va se poursuivre (ch. 2 du dispositif de l'arrêt attaqué). Il s'agit par conséquent d'une décision incidente, qui ne porte pas sur la compétence ou une demande de récusation (art. 92 LTF), de sorte qu'elle ne peut faire l'objet d'un recours immédiat devant le Tribunal fédéral qu'aux conditions fixées à l'art. 93 LTF.
3.
3.1. Un préjudice ne peut être qualifié d'irréparable au sens de l'art. 93 al. 1 let. a LTF que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral (ATF 143 III 416 consid. 1.3; 139 V 42 consid. 3.1 et les références). De ce point de vue, un dommage économique ou de pur fait, tel que l'accroissement des frais de la procédure ou la prolongation de celle ci, n'est pas considéré comme un préjudice irréparable (ATF 144 III 475 consid. 1.2; 140 V 282 consid. 4.2.2). Cette réglementation est fondée sur des motifs d'économie de la procédure, le Tribunal fédéral ne devant en principe s'occuper d'une affaire qu'une seule fois (ATF 142 III 798 consid. 2.2; 141 III 80 consid. 1.2 p. 81). Il incombe à la partie recourante d'indiquer de manière détaillée en quoi elle se trouve menacée d'un préjudice juridique irréparable; à ce défaut, le recours est irrecevable (ATF 142 III 798 consid. 2.2 et les références).
3.2. En l'occurrence, la décision attaquée n'est pas de nature à causer à l'administration un préjudice irréparable. En effet, si le juge du fond rendait une décision défavorable pour le SPC, celui-ci pourrait attaquer devant le Tribunal fédéral la décision incidente touchant la recevabilité du recours cantonal de l'assuré à l'occasion du recours en matière de droit public dirigé contre la décision finale, puisqu'elle influe sur le contenu de celle-ci (art. 93 al. 3 LTF). En revanche, si le SPC devait obtenir gain de cause au terme de la procédure, il n'aurait plus d'intérêt à recourir sur le fond. Dans l'hypothèse d'un recours interjeté par la partie adverse, il pourrait, dans sa réponse au recours, soulever le moyen tiré de l'irrecevabilité du recours cantonal (cf. ATF 138 V 106 consid. 2.2; arrêt 8C_402/2019 du 14 janvier 2020 consid. 4.2, non publié in ATF 146 V 1). Le fait de devoir mener une procédure sur le fond ne constitue par conséquent pas un préjudice irréparable, les frais qui pourraient en résulter et la longueur de la procédure n'étant que des préjudices de fait, et non un préjudice juridique au sens de l'art. 93 al. 1 let. a LTF.
3.3. En ce qui concernent les deux conditions - cumulatives (cf. ATF 133 III 629 consid. 2.4.1 et la référence) - mentionnées à l'art. 93 al. 1 let. b LTF, le recourant ne s'exprime pas à leur sujet comme il lui incombait de le faire. L'hypothèse visée à l'art. 93 al. 1 let. b LTF ne s'impose par ailleurs pas d'emblée comme manifeste. Si le Tribunal fédéral admettait le recours et retenait la solution inverse à celle adoptée à celle de la juridiction cantonale, il pourrait certes rendre immédiatement une décision finale. Aucun élément ne permet cependant de retenir que la procédure devant la juridiction cantonale s'écartera, par sa durée ou son coût, notablement des procès habituels (à ce sujet, voir ATF 133 III 629 consid. 2.4.2). Cela étant, la seconde condition posée par l'art. 93 al. 1 let. b LTF n'est pas réalisée.
4.
Ensuite des considérations qui précèdent, aucune des deux conditions alternatives auxquelles une décision incidente peut être contestée en vertu de l'art. 93 al. 1 LTF n'est réalisée, de sorte que l'arrêt attaqué ne peut pas faire l'objet d'un recours immédiat au Tribunal fédéral. Le recours est irrecevable.
5.
Le recourant, qui succombe, supporte les frais judiciaires (art. 66 al. 1 LTF). L'intimé, qui n'a pas été invité à répondre, n'a pas droit à des dépens.
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 juin 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker