Faits :
A.
A._, ressortissant étranger, est arrivé en Suisse en mai 1999 et y a obtenu une autorisation de séjour. Il a travaillé en qualité de garçon d'office pour le compte de l'Hôtel C._ SA du 1 er juin 2000 au 14 mars 2011. Le 15 avril 2013, il a déposé une demande de prestations de l'assurance-invalidité (AI). Dans un rapport du 17 juin 2013, la doctoresse D._, médecin assistante auprès du Département de psychiatrie du Centre Hospitalier E._ a attesté que le patient présentait une incapacité de travail depuis l'enfance, en raison d'un retard mental léger à moyen (F.70).
Par décision du 12 mai 2014, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) a nié le droit de A._ à une rente et à des mesures d'ordre professionnel, motifs pris que malgré le retard mental léger à moyen dont il souffrait depuis l'enfance, il avait pu travailler pendant plus de dix ans à satisfaction de son employeur. Le taux d'invalidité a été fixé à 35 %; l'office AI a précisé que des mesures professionnelles ne permettraient pas de diminuer le préjudice économique.
B.
A._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à la reconnaissance de son droit à une rente entière d'invalidité, subsidiairement à la mise en oeuvre d'un stage "COPAI" ou à une expertise judiciaire.
La juridiction cantonale a invité les parties à se déterminer sur une éventuelle substitution de motifs, car la question des conditions d'assurance se posait en l'état. A._ a dès lors complété ses conclusions, demandant principalement l'annulation de la décision du 12 mai 2014 et la reconnaissance de son droit à une rente entière d'invalidité, subsidiairement la mise en oeuvre d'une expertise judiciaire, plus subsidiairement la constatation de la réalisation des conditions de fond d'octroi d'une rente entière d'invalidité à compter du 1 er octobre 2013. Il s'est prévalu d'un intérêt actuel à obtenir un jugement en constatation portant sur les conditions de fond du droit à la rente d'invalidité, afin de pouvoir clarifier sa situation vis-à-vis d'autres prestataires sociaux.
Par jugement du 14 mars 2016, le tribunal cantonal a rejeté le recours dans la mesure où il est recevable. Il a confirmé la décision du 12 mai 2014 par substitution de motifs.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en tant qu'il déclare irrecevables ses conclusions constatatoires. A titre principal, il conclut à ce qu'il soit constaté qu'il remplit les conditions matérielles du droit à une rente entière d'invalidité; à titre subsidiaire, il conclut au renvoi de la cause à la juridiction cantonale pour qu'elle reprenne "l'instruction de l'invalidité". Il sollicite l'octroi de l'assistance judiciaire pour la procédure fédérale.
L'office intimé conclut implicitement au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Au vu des conclusions du recours (<ref-law>), le litige porte sur le droit du recourant d'obtenir un jugement en constatation portant sur les conditions matérielles du droit à une rente d'invalidité. La condition d'assurance (art. 4 et 6 LAI), niée par la juridiction cantonale, n'est pas sujette à discussion.
2.
Contrairement à l'office intimé qui avait nié le droit à la rente en raison d'un taux d'invalidité insuffisant (35 %), le tribunal cantonal n'a pas examiné les conditions matérielles de la rente. Il a constaté que le recourant présentait déjà l'atteinte à la santé (un retard mental léger à moyen existant depuis l'enfance) qui avait motivé la demande de prestations de l'AI le 15 avril 2013. Les premiers juges ont toutefois renoncé à fixer précisément le moment de la survenance d'une éventuelle invalidité en relation avec le handicap mental, car rien ne permettait de retenir la réalisation d'un cas d'assurance depuis son entrée en Suisse (en 1999), l'invalidité étant, à supposer qu'elle fût réalisée, déjà apparue antérieurement.
En ce qui concerne les conclusions en constatation de droit, la juridiction cantonale a rappelé qu'elles n'étaient recevables que lorsque des conclusions condamnatoires ou formatrices étaient exclues. Elle a dès lors déclaré irrecevables les conclusions constatatoires prises subsidiairement par le recourant.
Quant aux prestations complémentaires spécifiquement évoquées par le recourant en procédure cantonale, les premiers juges ont relevé que ce droit n'était de toute manière pas ouvert, car le recourant n'est pas ressortissant d'un Etat membre de l'Union européenne ou de l'Association européenne de libre-échange, ni réfugié ou apatride, ou ressortissant d'un Etat tiers avec lequel la Suisse aurait conclu une convention de sécurité sociale prévoyant l'octroi de rentes extraordinaires, et qui n'ont pas droit à une rente d'invalidité de l'AI faute de remplir les conditions générales d'assurance liées à la durée minimale de cotisations.
3.
Dans un premier grief relatif à l'irrecevabilité de ses conclusions constatatoires, le recourant reproche à la juridiction cantonale d'avoir méconnu la jurisprudence (cf. arrêts 9C_931/2012 du 23 mai 2013 consid. 2, K 95/99 du 24 janvier 2000 consid. 6c) et de les avoir déclarées irrecevables, sans examen. Il soutient qu'il a un intérêt digne de protection à obtenir une stricte constatation de son invalidité au sens des art. 8 et 16 LPGA, lorsque le refus des prestations de l'AI découle - comme en l'espèce - du non-respect des conditions d'assurance, car son intérêt ne peut être préservé au moyen d'une décision formatrice. Selon le recourant, cet intérêt réside dans le fait que la reconnaissance par l'office AI de l'existence ou de l'inexistence d'une invalidité a des impacts sur d'autres prestations sociales, plus particulièrement sur les prestations complémentaires à l'AVS/AI. Il se réfère ainsi à l'art. 4 al. 1 let. d LPC ainsi qu'au ch. 2230.04 des Directives de l'OFAS sur les prestations complémentaires à l'AVS/AI (DPC), en relevant que l'organe PC est lié par les constatations de l'office AI si ce dernier s'est déjà prononcé par le biais d'une décision formatrice. A son avis, le jugement d'irrecevabilité nie à tort son intérêt actuel à la constatation de l'invalidité, en violation des art. 5 et 25 PA et de la jurisprudence.
4.
4.1. Des conclusions uniquement constatatoires sont en principe irrecevables, faute d'intérêt digne de protection au recours, lorsque le recourant peut obtenir en sa faveur un jugement condamnatoire ou formateur; en ce sens, le droit d'obtenir un jugement en constatation de droit est subsidiaire (cf. <ref-ruling> consid. 4 p. 122; <ref-ruling> consid. 2.1 p. 21; <ref-ruling> consid. 2.1 p. 290; <ref-ruling> consid. 1b p. 24; arrêt 9C_931/2012 précité, consid. 2).
4.2. En l'espèce, dans son jugement du 14 mars 2016, le tribunal cantonal a confirmé la décision administrative du 12 mai 2014 en son dispositif, par substitution de motifs. A cette occasion, l'autorité judiciaire n'a pas statué sur le taux d'invalidité du recourant, mais elle a uniquement nié son droit aux prestations de l'AI au seul motif que la condition d'assurance n'était pas remplie. Contrairement à ce que semble penser le recourant, cela signifie que le taux d'invalidité fixé par l'office intimé n'acquerra pas force de chose jugée à la suite du présent arrêt, la décision administrative étant réformée par le dispositif du jugement cantonal. Aussi, en l'absence d'une décision de l'assurance-invalidité sur le taux d'invalidité du recourant, l'organe d'exécution des prestations complémentaires qui serait saisi d'une demande de prestations complémentaires pourrait alors trancher à titre préliminaire la question de l'invalidité au regard de l'art. 4 al. 1 let. d LPC (cf. ULRICH MEYER, Über die Zulässigkeit von Feststellungsverfügungen in der Sozialversicherungspraxis, in: Sozialversicherungsrechtstagung 2007, Saint-Gall, p. 49 ch. 4a et les références).
En conséquence, la juridiction cantonale était en droit de déclarer irrecevables les conclusions constatatoires du recourant, faute d'intérêt digne de protection. Le recourant n'ayant invoqué que l'incidence du jugement cantonal sur le domaine des prestations complémentaires, il n'y a pas lieu d'examiner l'issue de la procédure en matière d'assurance-invalidité sur d'autres domaines du droit. Le recours est dès lors mal fondé, sans qu'il y ait lieu d'entrer en matière sur l'argumentation du recourant relative à l'existence d'une invalidité. La Cour de céans n'a pas à se prononcer non plus sur les considérations de la juridiction cantonale relatives à un éventuel droit du recourant à des prestations complémentaires (cf. jugement attaqué, p. 12 consid. 2c) que celui-ci ne critique au demeurant pas.
5.
Les frais afférents à la présente procédure seront supportés par le recourant qui succombe (<ref-law>). Il a cependant déposé une demande d'assistance judiciaire. Dès lors que les conditions d'octroi sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui est accordée. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la Caisse du Tribunal fédéral, s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est admise pour la procédure devant le Tribunal fédéral et Maître Florence Bourqui est désignée comme avocate d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2'800 fr. est allouée à l'avocate du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 novembre 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud