Faits :
A.
Par décision du 15 janvier 2020, confirmée sur opposition le 6 mai 2020, le Service des prestations complémentaires de la République et canton de Genève (ci-après: le SPC) a rejeté la demande de prestations complémentaires à l'assurance-invalidité déposée par A._.
B.
Le 3 juillet 2020, A._ a déféré la décision du 6 mai 2020 à la Chambre des assurances sociales de la Cour de justice de la République et canton de Genève. A l'appui de son écriture, il a indiqué qu'il n'avait eu connaissance de la décision attaquée que le 30 juin 2020, car celle-ci ne lui avait pas été notifiée directement (mais à l'Hospice général du canton de Genève). Invité à se déterminer, le SPC a conclu à l'irrecevabilité du recours pour cause de tardiveté. Par arrêt du 29 mars 2021, la Cour de justice a déclaré le recours recevable et fixé un délai au SPC pour répondre au recours.
C.
Le SPC forme un recours en matière de droit public contre cet arrêt dont il demande l'annulation.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 et les références).
2.
2.1. Le recours en matière de droit public au Tribunal fédéral est recevable contre les décisions qui mettent fin à la procédure (<ref-law>), qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (<ref-law>) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (<ref-law>). Il est également recevable contre certaines décisions préjudicielles et incidentes. Il en va ainsi de celles qui concernent la compétence et les demandes de récusation (<ref-law>). Quant aux autres décisions préjudicielles et incidentes notifiées séparément, elles peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
2.2. En l'occurrence, l'arrêt attaqué, qui écarte le moyen tiré par le SPC de l'irrecevabilité du recours cantonal en raison de sa tardiveté, ne met pas fin à la procédure, laquelle va se poursuivre (ch. 2 du dispositif de l'arrêt attaqué). Il s'agit par conséquent d'une décision incidente, qui ne porte pas sur la compétence ou une demande de récusation (<ref-law>), de sorte qu'elle ne peut faire l'objet d'un recours immédiat devant le Tribunal fédéral qu'aux conditions fixées à l'<ref-law>.
3.
3.1. Un préjudice ne peut être qualifié d'irréparable au sens de l'<ref-law> que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1 et les références). De ce point de vue, un dommage économique ou de pur fait, tel que l'accroissement des frais de la procédure ou la prolongation de celle ci, n'est pas considéré comme un préjudice irréparable (<ref-ruling> consid. 1.2; <ref-ruling> consid. 4.2.2). Cette réglementation est fondée sur des motifs d'économie de la procédure, le Tribunal fédéral ne devant en principe s'occuper d'une affaire qu'une seule fois (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.2 p. 81). Il incombe à la partie recourante d'indiquer de manière détaillée en quoi elle se trouve menacée d'un préjudice juridique irréparable; à ce défaut, le recours est irrecevable (<ref-ruling> consid. 2.2 et les références).
3.2. En l'occurrence, la décision attaquée n'est pas de nature à causer à l'administration un préjudice irréparable. En effet, si le juge du fond rendait une décision défavorable pour le SPC, celui-ci pourrait attaquer devant le Tribunal fédéral la décision incidente touchant la recevabilité du recours cantonal de l'assuré à l'occasion du recours en matière de droit public dirigé contre la décision finale, puisqu'elle influe sur le contenu de celle-ci (<ref-law>). En revanche, si le SPC devait obtenir gain de cause au terme de la procédure, il n'aurait plus d'intérêt à recourir sur le fond. Dans l'hypothèse d'un recours interjeté par la partie adverse, il pourrait, dans sa réponse au recours, soulever le moyen tiré de l'irrecevabilité du recours cantonal (cf. <ref-ruling> consid. 2.2; arrêt 8C_402/2019 du 14 janvier 2020 consid. 4.2, non publié in <ref-ruling>). Le fait de devoir mener une procédure sur le fond ne constitue par conséquent pas un préjudice irréparable, les frais qui pourraient en résulter et la longueur de la procédure n'étant que des préjudices de fait, et non un préjudice juridique au sens de l'<ref-law>.
3.3. En ce qui concernent les deux conditions - cumulatives (cf. <ref-ruling> consid. 2.4.1 et la référence) - mentionnées à l'<ref-law>, le recourant ne s'exprime pas à leur sujet comme il lui incombait de le faire. L'hypothèse visée à l'<ref-law> ne s'impose par ailleurs pas d'emblée comme manifeste. Si le Tribunal fédéral admettait le recours et retenait la solution inverse à celle adoptée à celle de la juridiction cantonale, il pourrait certes rendre immédiatement une décision finale. Aucun élément ne permet cependant de retenir que la procédure devant la juridiction cantonale s'écartera, par sa durée ou son coût, notablement des procès habituels (à ce sujet, voir <ref-ruling> consid. 2.4.2). Cela étant, la seconde condition posée par l'<ref-law> n'est pas réalisée.
4.
Ensuite des considérations qui précèdent, aucune des deux conditions alternatives auxquelles une décision incidente peut être contestée en vertu de l'<ref-law> n'est réalisée, de sorte que l'arrêt attaqué ne peut pas faire l'objet d'un recours immédiat au Tribunal fédéral. Le recours est irrecevable.
5.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). L'intimé, qui n'a pas été invité à répondre, n'a pas droit à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 juin 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker