Faits:
A. R._, né en 1962, a travaillé en qualité d'aide-jardinier. En 1995, il a été victime d'un accident de la circulation. L'assuré a été hospitalisé durant 48 heures à l'Hôpital X._ pour des contusions et un traumatisme crânio-cérébral mineur. Cet accident a également engendré un état de stress post-traumatique (rapport du docteur S._ du 14 octobre 1996, psychiatre mandaté par l'assureur-accidents). Par décision du 8 avril 1997, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a mis l'assuré au bénéfice d'une rente entière d'invalidité à compter du 1er juin 1996, fondée sur un degré d'invalidité de 100 %.
Dans le cadre d'une procédure de révision du droit à la rente initiée par l'office AI en avril 1999, les docteurs B._ et P._, du Centre psychiatrique Y._, ont attesté que la capacité de travail de l'assuré avait subi une réduction de 75 % après l'accident, qu'elle n'avait pas pu être améliorée et qu'elle ne s'améliorera probablement pas. A leur avis, il n'y avait pas de capacité de travail exigible (rapport du 6 juin 2001). Par communication du 22 avril 2002, consécutive à un avis des docteurs V._ et L._, médecins au SMR (du 18 avril 2002), l'office AI a fait savoir à l'assuré que son degré d'invalidité n'avait pas changé au point d'influencer le droit à la rente et qu'il continuerait à bénéficier de cette prestation.
A l'occasion d'une nouvelle procédure de révision de la rente ouverte par l'office AI en avril 2005, la doctoresse A._, psychiatre au SMR, a examiné l'assuré. Dans son rapport du 6 octobre 2006, elle n'a retenu aucun diagnostic psychiatrique avec répercussion sur la capacité de travail (F71.1); sans répercussion sur celle-ci, elle a attesté une majoration de troubles physiques pour des raisons psychologiques (F68.0) avec mauvaise collaboration et aucune attitude visant à réduire le dommage. Selon la doctoresse A._, la capacité de travail exigible était de 100% depuis juin 2001 sur le plan psychiatrique, aussi bien dans l'activité habituelle (aide-jardinier) que dans une activité adaptée. Par décision du 11 mai 2009, faisant suite à un projet du 10 décembre 2008, l'office AI a supprimé la rente.
B. R._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, qui l'a débouté par jugement du 16 novembre 2010.
C. R._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant au renvoi de la cause aux premiers juges.
L'intimé conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le litige porte sur la suppression, par voie de révision (art. 17 LPGA), de la rente d'invalidité dont le recourant bénéficiait depuis le 1er juin 1996.
2. Selon la jurisprudence, aussi bien dans le cadre d'une nouvelle demande au sens de l'art. 87 al. 3 RAI (<ref-ruling>) que dans celui d'une révision d'une rente au sens de l'art. 17 LGPA (<ref-ruling> consid. 5 p. 110), c'est la dernière décision entrée en force qui repose sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit, qui constitue le point de départ temporel pour l'examen d'une modification du degré d'invalidité.
3. A cet égard, le tribunal cantonal a considéré que la communication du 22 avril 2002 n'était pas pertinente pour la base de comparaison déterminante dans le temps, cet examen devant intervenir à compter de la décision initiale du 8 avril 1997 (consid. 5 du jugement attaqué).
Le recourant soutient la thèse inverse et fait grief à l'office intimé d'avoir comparé à tort la situation médicale qui prévalait lors de l'octroi initial de la rente (en 1997) avec l'état de fait existant au jour de la décision de suppression de cette prestation (en 2009). A son avis, l'administration aurait dû tenir compte de la situation qui existait en avril 2002, lorsque l'intimé lui avait fait savoir qu'il maintenait le droit à une rente entière, de sorte que la cause devrait être renvoyée aux premiers juges afin qu'ils procèdent à la bonne comparaison.
4. La communication du 22 avril 2002, aux termes de laquelle le recourant continuait à bénéficier d'une rente entière d'invalidité, reposait sur une évaluation matérielle de sa situation. Il ressort en effet du dossier qu'au cours de la procédure de révision initiée au mois d'avril 1999, l'administration avait confié un mandat d'expertise psychiatrique au Centre psychiatrique Y._, afin de s'enquérir sur la situation médicale de l'assuré. Dans leur avis du 18 avril 2002, les médecins du SMR avaient suivi les conclusions des experts mandatés (cf. rapport du 6 juin 2001), ajoutant que "la présentation clinique lors de cette expertise est encore plus prononcée que lors des deux précédentes". Par ailleurs, dans une note interne du 22 avril 2002, l'office AI avait retenu que l'avis (contraire) du docteur T._, psychiatre mandaté par l'assureur-accidents (rapport du 15 décembre 1997), reposait sur des hypothèses impossibles à vérifier. En outre, dans sa communication du 22 avril 2002, l'office intimé précisait qu'il avait examiné le degré de l'invalidité.
Dans ces circonstances, il faut considérer que l'office intimé avait procédé en 2002 à un nouvel examen matériel du droit à la rente avec une constatation des faits pertinents d'ordre médical et leur incidence sur la capacité de gain de l'assuré. Il s'ensuit que la communication du 22 avril 2002 avait la valeur d'une base de comparaison déterminante dans le temps (sur cette question, voir arrêt 9C_46/2009 du 4 août 2009 consid. 3.1, in SVR 2010 IV n° 4 p. 7), si bien qu'elle constituait le point de départ temporel de l'examen de la révision de la rente initiée en avril 2005 et qui avait abouti à la décision du 11 mai 2009. Le recours sera dès lors admis et la cause renvoyée au tribunal cantonal afin qu'il reprenne l'instruction du recours en tenant compte de ce qui vient d'être exposé.
5. L'intimé, qui succombe, supportera les frais et dépens de la procédure fédérale (art. 66 al. 1 et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal cantonal du canton de Vaud, Cour des assurances sociales, du 16 novembre 2010, est annulé, la cause lui étant renvoyée pour nouvelle instruction au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 1'000 fr. (y compris la TVA) à titre de dépens pour la procédure fédérale.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 novembre 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Berthoud