Faits :
A.
A._ a déposé une première demande de prestations de l'assurance-invalidité en décembre 2003, qui a abouti à l'octroi d'une rente entière d'invalidité d'octobre 2003 à mars 2005. En août 2007, il a déposé une deuxième demande de prestations, sur laquelle l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) n'est pas entré en matière.
L'assuré a présenté une troisième demande de prestations, le 20 janvier 2012, que l'office AI a rejetée par décision du 21 mai 2015.
Le 10 juin 2015, A._ a déposé une quatrième demande de prestations. Par lettre du 18 juin 2015, l'office AI l'a informé que la décision du 21 mai 2015 était passée en force, et qu'il lui appartenait ainsi de lui faire parvenir tous les documents médicaux permettant de rendre plausible l'aggravation de son état de santé depuis cette décision. L'assuré ayant déposé une attestation médicale du 4 mai 2015, l'office AI a transmis la demande du 10 juin 2015 à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, le 14 juillet 2015, comme objet de sa compétence. L'autorité judiciaire l'a retournée à l'office AI, le 16 juillet 2015, considérant que rien ne permettait d'admettre que l'assuré avait l'intention de recourir contre la décision du 21 mai 2015.
L'assuré a déposé une cinquième demande de prestations, le 20 septembre 2016, sur laquelle l'office AI a refusé d'entrer en matière par décision du 25 janvier 2017.
B.
A._ a déféré la décision du 25 janvier 2017 à la Chambre des assurances sociales en demandant son annulation. A titre principal, il a conclu à l'octroi d'une rente entière d'invalidité à compter du 1 er septembre 2016; à titre subsidiaire, il a conclu au renvoi de la cause à l'office AI pour instruction complémentaire sous la forme d'une expertise pluridisciplinaire et nouvelle décision.
Dans un jugement incident du 8 juin 2017, la juridiction cantonale a admis que le recours devait être considéré comme étant dirigé contre la décision du 21 mai 2015 et l'a déclaré recevable. Par jugement au fond du 5 octobre 2017, elle a admis partiellement le recours dirigé contre la décision du 21 mai 2015 (ch. 1 du dispositif du jugement), annulé celle-ci (ch. 2), octroyé au recourant un quart de rente d'invalidité à compter d'août 2012 (ch. 3) et rejeté le recours contre la décision du 25 janvier 2017 (ch. 4).
C.
L'office AI interjette un recours en matière de droit public contre les jugements des 8 juin et 5 octobre 2017 dont il demande l'annulation, en concluant principalement à la confirmation de sa décision du 25 janvier 2017, subsidiairement à ce qu'il soit invité à entrer en matière sur la demande déposée le 20 septembre 2016. Il sollicite l'attribution de l'effet suspensif à son recours.
L'intimé conclut au rejet du recours et de la requête d'effet suspensif. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il fonde par ailleurs son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Le ch. 4 du dispositif du jugement du 5 octobre 2017 n'a pas été contesté, si bien que la décision du 25 janvier 2017 est passée en force.
3.
3.1. Dans son jugement incident du 8 juin 2017, la juridiction cantonale a retenu que l'intimé avait manifesté son désaccord avec la décision du 21 mai 2015, puisqu'il avait déposé une nouvelle demande de prestations durant le délai de recours en concluant à l'octroi d'une rente. Elle a aussi relevé qu'elle n'était pas liée par la réponse de son greffe du 16 juillet 2015, car aucun jugement n'avait été prononcé.
Pour les premiers juges, l'objet du litige ne consistait donc pas à savoir si l'office recourant avait refusé à raison d'entrer en matière sur la demande du 20 septembre 2016, mais de déterminer si la décision de refus de prestations du 21 mai 2015 était ou non juridiquement fondée.
3.2. L'office recourant relève que le jugement incident du 8 juin 2017 ne pouvait être déféré au Tribunal fédéral qu'avec la décision finale, faute de préjudice irréparable (<ref-law>).
A son avis, l'objet de la contestation est clairement la décision du 25 janvier 2017, dès lors que l'intimé a manifesté son opposition au refus de rente qui lui a été signifié, en joignant cet acte administratif à son recours. La juridiction cantonale a ainsi fait preuve d'arbitraire en retenant que la décision attaquée était celle qui avait été rendue le 21 mai 2015. Le recourant ajoute que l'acte déposé le 10 juin 2015 n'avait pas la forme d'un recours, car il s'agissait d'un formulaire de demande de prestations de l'AI; de plus, l'intimé n'avait déposé aucun mémoire de recours remplissant les conditions de l'art. 89B al. 1 LPA-GE.
3.3. Quant à l'intimé, il soutient que la décision du 21 mai 2015 n'est ni définitive ni exécutoire, dès lors que le recours déposé en juin 2015 contre celle-ci a finalement été traité dans le jugement du 5 octobre 2017, lui-même attaqué. Il ajoute que la juridiction cantonale était en droit d'élargir l'objet du litige en examinant préalablement le bien-fondé de la décision du 21 mai 2015.
4.
En l'espèce, le Tribunal fédéral considère que l'intimé n'avait pas formellement déclaré recourir contre la décision du 21 mai 2015, à teneur de laquelle sa demande de prestations déposée le 20 janvier 2012 était rejetée. En outre, l'intimé n'avait pas soulevé d'objections au refus de la Chambre des assurances de considérer que sa demande du 10 juin 2015 ne constituait pas un recours contre la décision du 21 mai 2015 (cf. lettre du greffe du 16 juillet 2015); il n'avait au demeurant ni requis ni obtenu la remise d'un accusé de réception au dépôt d'un recours de la part de l'autorité judiciaire, et ne s'est pas non plus enquis de l'état d'avancement d'une éventuelle procédure de recours consécutive à son écriture du 10 juin 2015. On peut donc en déduire qu'il n'avait pas l'intention de recourir contre la décision du 21 mai 2015, mais qu'il entendait à cette occasion présenter une nouvelle demande au sens des <ref-law> et 87 RAI.
Dans ces conditions, la décision du 21 mai 2015 était passée en force faute d'avoir été attaquée. Elle ne constituait donc plus l'objet de la contestation portée devant la Chambre des assurances sociales, d'autant moins que les conclusions du recours étaient dirigées uniquement contre la décision du 25 janvier 2017. La juridiction cantonale de recours ne pouvait donc plus examiner le mérite de la décision du 21 mai 2015 ni l'annuler. Dans cette mesure, le recours en matière de droit public est bien fondé, ce qui conduit à l'annulation des ch. 1 à 3, 5 et 6 du dispositif du jugement final du 5 octobre 2017 et par voie de conséquence du jugement incident du 8 juin 2017.
5.
La requête d'effet suspensif au recours n'a dès lors plus d'objet.
6.
L'intimé, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Les ch. 1 à 3, 5 et 6 du jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 5 octobre 2017 et le jugement incident du 8 juin 2017 sont annulés.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
La cause est renvoyée à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, pour nouvelle décision sur les frais et dépens de l'instance cantonale, au regard de l'issue du procès.
4.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 mars 2018
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
Le Greffier : Berthoud