Faits :
A.
A._ s'est annoncé à l'assurance-invalidité le 9 février 2009, invoquant un important traumatisme crânien (survenu en 1983), des problèmes métaboliques ainsi que des problèmes cardiaques. Dans un rapport d'expertise pluridisciplinaire du 26 mars 2010, les médecins du CEMed ont diagnostiqué, avec répercussion sur la capacité de travail, une fibrillation auriculaire traitée depuis 2008 ainsi qu'une faible efficience intellectuelle. Ils ont précisé que les activités physiquement exigeantes étaient contre-indiquées et que les professions avec risque de saignement devaient être évitées. Dans une activité simple et répétitive respectant les limitations précitées, la capacité de travail restait entière et sans diminution de rendement. Par décision du 25 mai 2010, qui n'a pas été attaquée, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a fixé la perte de gain à 10 % et refusé d'allouer une rente d'invalidité.
Le 30 septembre 2011, A._ a déposé une nouvelle demande de prestations, se prévalant d'une atteinte neuropsychologique apparue en 1984. Dans ce cadre, il a versé au dossier un rapport de la professeure B._ du 23 novembre 2010, relatif à une évaluation neuropsychologique qui s'est déroulée à l'Hôpital C._ les 1 eret 22 novembre 2010, ainsi qu'un rapport du docteur D._ du 9 décembre 2011, médecin au Centre E._ SA. Par décision du 17 juin 2013, l'office AI a refusé d'entrer en matière sur la demande, au motif que l'assuré n'avait pas rendu vraisemblable que les conditions de fait s'étaient modifiées de manière essentielle depuis la dernière décision.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation et à ce que le dossier fût renvoyé à l'office AI afin qu'il entrât en matière sur sa demande.
Par jugement du 28 avril 2014, la juridiction cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire contre ce jugement dont il demande l'annulation en reprenant ses conclusions formées en première instance. Il sollicite le bénéfice de l'assistance judiciaire limitée aux frais de justice.
Le 6 juin 2014, le recourant a déposé une demande de révision conservatoire du jugement du 28 avril 2014. La présente cause a dès lors été suspendue par ordonnance du 22 août 2014. Par jugement du 19 août 2016, la juridiction cantonale a rejeté la demande de révision.

Considérant en droit :
1.
La suspension de la procédure n'a plus lieu d'être dans la mesure où le tribunal cantonal a rejeté la demande de révision. Il convient donc de reprendre d'office la procédure de recours.
2.
La décision attaquée ayant été rendue dans une cause de droit public (<ref-law>) et dans une matière - le droit fédéral des assurances sociales - où aucune des clauses d'exception de l'<ref-law> ne s'applique, la voie du recours en matière de droit public est ouverte. Partant, il n'y a pas lieu d'entrer en matière sur le recours constitutionnel subsidiaire interjeté par le recourant.
3.
Le litige porte sur le refus de l'intimé d'entrer en matière sur la nouvelle demande de prestations déposée le 30 septembre 2011.
Les règles applicables à la solution du litige ont été exposées correctement dans le jugement attaqué. Il suffit d'y renvoyer.
4.
En application de l'<ref-law>, les premiers juges ont restreint leur examen au point de savoir si le recourant avait, dans ses démarches effectuées auprès de l'office intimé à partir du mois de septembre 2011, établi de façon plausible que la situation s'était modifiée depuis le précédent refus de prestations. Ils ont constaté que la décision du 25 mai 2010 était essentiellement fondée sur le rapport d'expertise du CEMed du 26 mars 2010 dont il ne leur appartenait pas de discuter le bien-fondé; les juges cantonaux ont retenu que cette décision constituait bien le point de départ temporel pour l'examen de la nouvelle demande du 30 septembre 2011.
A l'examen du rapport de la professeure B._, du 23 novembre 2010, les juges cantonaux ont considéré que le bilan neuropsychologique effectué à l'Hôpital C._ n'était d'aucun secours au recourant, car les conclusions constituaient une appréciation différente d'une situation inchangée, ce qui ne suffisait pas pour réunir les conditions d'une entrée en matière selon l'art. 87 al. 2 et 3 RAI. Quant au rapport du docteur D._ du 9 décembre 2011, il ne leur permettait pas non plus d'admettre que les conclusions de l'expertise du CEMed du 26 mars 2010 ne seraient plus d'actualité.
Dès lors que les documents médicaux invoqués en procédure administrative n'apportaient aucun élément dans le sens d'une modification significative de la situation du recourant depuis la dernière décision de refus passée en force, le tribunal cantonal a retenu que les conditions de l'art. 87 al. 2 et 3 RAI n'étaient pas réalisées et que le refus d'entrer en matière sur la nouvelle demande était justifié.
5.
Le recourant se prévaut d'une violation de l'<ref-law>. Il soutient que la décision du 25 mai 2010 ne reposait pas sur une constatation des faits pertinents et qu'elle ne saurait être reconnue comme étant équivalente à un examen matériel, de sorte que la procédure prévue à l'art. 87 al. 2 et 3 RAI est inapplicable dans son cas. A l'appui de son raisonnement, le recourant allègue que sa collaboration déficiente lors de l'expertise du CEMed n'avait pas permis aux experts de se prononcer, d'autant moins que son QI n'était pas évaluable. Le recourant en déduit que si l'impossibilité d'instruire complètement son état de santé lors de la première demande avait abouti à un refus de prestations, le devoir d'instruction d'office de l'intimé s'appliquerait pleinement à toute nouvelle demande déposée ultérieurement en lien avec des faits qui n'avaient pas pu être élucidés lors de l'instruction initiale.
A cet égard, le recourant relève que s'il est certes astreint à diverses obligations (renseigner, collaborer, se soumettre aux mesures de réadaptation ordonnées, notamment), il n'est possible de lui reprocher le non-respect de ses obligations que si son comportement est inexcusable, c'est-à-dire si d'un point de vue objectif, il peut être tenu pour responsable de son comportement. Cette condition manque, notamment, quand en raison d'une maladie ou d'une débilité mentale, il n'est pas capable de saisir les conséquences de ses actes ou de se conduire d'une manière censée. Dans son cas, le recourant soutient que tout reproche lié à une collaboration supposée insuffisante doit être écarté, compte tenu de la nature de ses troubles de santé qui avait rendu l'examen psychiatrique et neuropsychologique effectué au CEMed trop superficiel. L'avis du professeur B._, qui faisait état d'une aggravation, aurait ainsi dû être pris en considération.
6.
Contrairement à l'opinion du recourant, la décision du 25 mai 2010 reposait sur un examen matériel des faits pertinents, singulièrement sur le rapport d'expertise pluridisciplinaire du CEMed du 26 mars 2010. Si les experts avaient certes fait état d'une intelligence limite, ils avaient néanmoins clairement pu se prononcer sur la situation du recourant sous les angles somatique, neurologique, psychique et neuropsychologique, et constater qu'une activité simple et répétitive était possible à 100 %. En tout cas, on ne saurait déduire de la lecture du rapport du 26 mars 2010, au demeurant co-signé par un spécialiste en psychiatrie et psychothérapie, que le recourant se trouvait au moment de l'expertise dans une situation qui ne lui permettait pas de comprendre les conséquences de ses actes ou de se conduire d'une manière censée, comme il le laisse entendre, aucune maladie ou débilité mentale n'ayant été attestée par les experts du CEMed. Le recourant ne démontre d'ailleurs pas et ne rend pas non plus vraisemblable qu'une telle éventualité était réalisée à l'époque où il avait été examiné au CEMed.
Dans ces conditions, on doit admettre, avec la juridiction cantonale, que la décision entrée en force du 25 mai 2010, fondée sur les conclusions du CEMed du 26 mars 2010, constituait bien le point de départ temporel pour l'examen de la nouvelle demande du 30 septembre 2011, car elle reposait sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit (cf. <ref-ruling>). A la lecture des conclusions du CEMed du 26 mars 2010, ainsi que des rapports de la professeure B._, du 23 novembre 2010, et du docteur D._, du 9 décembre 2011, on ne peut faire grief aux premiers juges d'avoir considéré que les documents médicaux invoqués à l'appui de la nouvelle demande n'apportaient aucun élément dans le sens d'une modification significative de la situation du recourant depuis la dernière décision de refus passée en force; il apparaît plutôt que les médecins de l'Hôpital C._ ont procédé à une appréciation différente d'une situation inchangée. Le recourant ne démontre donc pas en quoi la juridiction cantonale aurait constaté les faits médicaux de façon manifestement inexacte ou en violation du droit (cf. <ref-law>), puisqu'il ne fait qu'opposer sa propre appréciation de l'évolution de son état de santé à celle des premiers juges, ce qui ne suffit pas pour remettre valablement celle-ci en cause. C'est donc à juste titre que le refus d'entrer en matière sur la nouvelle demande a été confirmé.
Il s'ensuit que le recours est mal fondé.
7.
Les frais afférents à la présente procédure seront supportés par le recourant qui succombe (<ref-law>). Il a cependant déposé une demande d'assistance judiciaire qu'il a limitée à la dispense des frais judiciaires. Dès lors que les conditions d'octroi sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire restreinte aux frais de procédure lui est accordée. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral, s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
La cause est reprise.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
Le recours est rejeté.
4.
L'assistance judiciaire, limitée aux frais judiciaires, est admise pour la procédure devant le Tribunal fédéral.
5.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
6.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 17 octobre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud