Faits:
A. G._, né en 1946, a exercé la profession de tôlier. Souffrant de troubles auditifs, il s'est annoncé à l'assurance-invalidité le 13 juillet 1994. La procédure initiale a donné lieu à un premier arrêt du Tribunal fédéral des assurances du 14 mars 2001 (I 468/00), puis un second du 15 octobre 2004 (I 553/03) fixant le droit de l'assuré à des prestations basées sur une invalidité de 43 %; la perte de gain a été établie par comparaison des revenus avant et après invalidité compte tenu d'une pleine capacité de travail dans une activité adaptée aux troubles auditifs.
Entre-temps, l'assuré avait fait savoir à l'Office de l'assurance-invalidité du canton de Vaud (l'office AI) que son état de santé psychique s'était aggravé depuis le mois de juin 2001 (lettre du 25 juillet 2002); il a produit un avis du docteur C._, spécialiste en psychiatrie et psychothérapie (du 17 juin 2002), auprès duquel le docteur B._, médecin traitant, l'avait adressé. A la demande de la Caisse nationale suisse d'assurance en cas d'accidents, le docteur S._, spécialiste en psychiatrie et psychothérapie, a réalisé une expertise psychiatrique. Dans son rapport du 14 novembre 2002, l'expert a fait état d'un trouble bipolaire type II, actuellement en phase dépressive, d'une personnalité schizotypique, d'une surdité appareillée, de désinsertion socio-professionnelle, ainsi que de problèmes familiaux et de couple. A son avis, les affections psychiques entraînaient une diminution de la capacité de travail de 40 %.
Le 18 mai 2006, l'office AI a rendu plusieurs décisions, à teneur desquelles il a mis l'assuré au bénéfice d'un quart de rente d'invalidité fondé sur un taux d'invalidité de 43 % avec effet au 1er juillet 1994 (avec rentes complémentaires pour conjoint et enfant). Le paiement de la rente était suspendu du 1er mai 1998 au 28 février 1999, période durant laquelle des indemnités journalières avaient été versées. L'assuré a formé opposition contre ces décisions, dans la mesure où la péjoration de sa capacité de gain n'était pas prise en considération depuis le 1er juin 2001; il a conclu à l'octroi d'une rente entière dès ce moment-là (accompagnées de rentes complémentaires) et d'intérêts moratoires. Par décision du 16 mai 2007, l'office AI a rejeté l'opposition.
B. G._ a déféré cette décision au Tribunal des assurances du canton de Vaud (aujourd'hui : Cour des assurances sociales du Tribunal cantonal).
La juridiction cantonale a recueilli les avis des docteurs B._ (rapports des 15 octobre 2004, 11 septembre et 18 décembre 2008), C._ (rapport du 15 septembre 2008) et S._ (rapports des 13 octobre et 24 novembre 2008), sur lesquels l'assuré a été invité à se déterminer.
Par jugement du 21 janvier 2010, la juridiction cantonale a admis partiellement le recours (ch. I du dispositif). Elle a réformé la décision administrative en ce sens qu'elle a reconnu à l'assuré le droit à une demi-rente d'invalidité à partir du 1er septembre 2001 avec intérêts à 5 % l'an dès le 1er septembre 2003, respectivement à trois-quarts de rente depuis le 1er janvier 2004 avec intérêts à 5 % l'an dès le 1er janvier 2006. Pour le surplus, la décision du 16 mai 2007 a été confirmée (ch. II du dispositif).
C. G._ interjette un recours en matière de droit public ainsi qu'un recours constitutionnel subsidiaire contre ce jugement dont il demande l'annulation, à l'exception des ch. III et IV du dispositif (qui portent sur les frais et dépens). Avec suite de dépens, il conclut principalement à ce que le versement des rentes ne soit pas interrompu de mai 1998 à février 1999, au paiement d'une rente entière dès le 1er juin 2001 sur la base d'un taux d'invalidité de 83 %, à l'octroi de rentes complémentaires pour l'épouse et leur fils, ainsi qu'au versement d'intérêts moratoires jusqu'au 30e jour suivant l'entrée en vigueur du présent arrêt. A titre subsidiaire, il conclut au renvoi de la cause au tribunal cantonal.
L'intimé conclut implicitement au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours interjeté céans est formé pour violation du droit fédéral (<ref-law>) - incluant les droits fondamentaux - et est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>) sans qu'aucune des exceptions prévues à l'<ref-law> ne soit réalisée. La voie du recours en matière de droit public est dès lors ouverte. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
Le litige porte sur le degré d'invalidité du recourant à compter du 1er juin 2001, le versement de rentes du 1er mai 1998 au 28 février 1999, le paiement de rentes complémentaires pour l'épouse et leur enfant commun, ainsi que le paiement d'intérêts moratoires.
2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire (cf. Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.).
3. 3.1 Les premiers juges ont exposé correctement les règles applicables en matière de révision du droit à la rente, d'appréciation des preuves, ainsi que celles qui se rapportent à la notion d'invalidité, si bien qu'il suffit de renvoyer au considérant y relatif du jugement attaqué.
3.2 Le recourant se prévaut des avis des docteurs B._ et C._, en rappelant que ces derniers ont attesté une incapacité totale de travailler pour des raisons non somatiques. Il estime que le rapport du docteur S._ ne saurait être assimilé à une expertise, car ce document ne permet pas de déterminer le taux d'invalidité global. Le recourant soutient qu'en de telles circonstances, il ne faudrait s'en tenir qu'à l'appréciation de ses deux médecins dès lors qu'ils ont porté une évaluation globale. A son avis, sa capacité de travail ne se trouvait pas réduite de 40 % seulement en raison de ses affections psychiques et des troubles de mémoire, mais totalement.
Le recourant se prévaut également d'une violation de son droit d'être entendu, au motif que les témoins dont il avait requis la comparution personnelle devant le tribunal (les docteurs B._, C._ et S._), le 12 février 2008, n'ont été interrogés que par écrit. En outre, le recourant fait grief à la juridiction cantonale de recours de n'avoir pas motivé son jugement sur la question des rentes complémentaires.
3.3 Ces griefs ne résistent pas à l'examen. D'une part, le rapport du docteur S._ (du 14 novembre 2002) et ses rapports complémentaires (des 13 octobre et 24 novembre 2008) produits devant le tribunal cantonal satisfont aux réquisits jurisprudentiels relatifs à la force probante de tels documents (cf. <ref-ruling> consid. 3a p. 352). D'autre part, l'expert s'y exprimait sur les éléments essentiels permettant au juge des assurances d'établir les faits pertinents et singulièrement de déterminer les répercussions des affections d'ordre psychique sur la capacité de travail.
L'administration des preuves n'a aucunement prêté le flanc à la critique. En particulier, le recourant a participé activement à cette phase du procès en adressant au tribunal une série de questions écrites destinées aux docteurs B._, C._ et S._ (le 11 août 2008). Leurs réponses lui ont été communiquées afin qu'il puisse se déterminer (le 27 novembre 2008), ce qu'il a fait (les 9 décembre 2008, 5 janvier et 16 février 2009). L'audition des témoins a donc eu lieu et le droit du recourant d'être entendu a ainsi été pleinement garanti. Peu importe à cet égard que les premiers juges aient décidé de conduire l'instruction de la cause par écrit.
Par ailleurs, le tribunal cantonal a reproduit les passages essentiels de ces avis médicaux, avant de les discuter et de motiver dûment son choix de s'en tenir aux conclusions de l'expert S._ (jugement attaqué, consid. 4b pp. 19-21). Dès lors que l'art. 61 let. c LPGA a été respecté, la Cour de céans n'a aucun motif de s'écarter des faits retenus par la juridiction cantonale (<ref-law>), d'autant moins que le recourant ne démontre pas en quoi cet état de fait aurait été établi de façon manifestement inexacte ou contrairement au droit (cf. <ref-law>).
3.4 Quant à l'évaluation de l'invalidité qui a été effectuée dans le cadre de la révision du quart de rente (<ref-law>, abrogé lors de l'entrée en vigueur de la LPGA), elle ne lèse pas les droits du recourant. En effet, les juges cantonaux ont tenu compte à juste titre du fait que depuis le 1er juin 2001, les troubles psychiques ont restreint de 40 % la capacité de travail et induit une perte de gain du même ordre dans un emploi adapté aux problèmes auditifs, étant précisé qu'à ce moment-là le recourant subissait déjà une perte de gain de 43 % depuis plusieurs années en raison de ses troubles auditifs. Le degré d'invalidité ne doit pas être fixé à 83 % (en additionnant les taux de 40 % et 43 % comme le voudrait le recourant), mais en comparant le revenu qui était exigible dès le 1er juin 2001, compte tenu des problèmes auditifs et psychiques (26'905 fr. 70), avec celui dont le recourant aurait disposé sans les diverses atteintes à la santé (78'922 fr. 50), soit à 66 % (valeur arrondie).
Dans ces conditions, la reconnaissance par le tribunal cantonal du droit à une demi-rente d'invalidité fondée sur un degré d'invalidité de 66 % (<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2003) depuis le 1er septembre 2001, soit trois mois après la réduction de la capacité de gain survenue le 1er juin 2001 (<ref-law>), est conforme au droit fédéral et en particulier à l'ancien <ref-law>. Cette demi-rente a elle-même été remplacée à bon droit par un trois-quarts de rente dès le 1er janvier 2004 (4e révision de l'AI).
4. Du 5 janvier 1998 au 28 février 1999, le recourant a bénéficié de mesures d'instruction et de réadaptation, période durant laquelle il a perçu des indemnités journalières au sens de l'<ref-law> (jugement attaqué, p. 10). C'est donc à juste titre que l'intimé a suspendu le versement du quart de rente du 1er mai 1998 au 28 février 1999 (<ref-law>, en vigueur jusqu'au 31 décembre 2003), si bien que la conclusion du recourant tendant au versement de rentes pendant ce laps de temps est infondé.
5. Le jugement attaqué est par ailleurs conforme au droit fédéral en ce qui concerne le droit du recourant à des intérêts moratoires (<ref-law>). Il suffit d'y renvoyer (consid. 5).
6. Quant à la rente complémentaire pour l'épouse (<ref-law>, en vigueur jusqu'au 31 décembre 2003) et la rente pour enfant (<ref-law>), elles constituent des prestations accessoires à la rente d'invalidité, objet du présent litige. Ainsi qu'il l'avait fait le 18 mai 2006, l'intimé devra en fixer les montants lors des décisions qu'il sera appelé à rendre à la suite du jugement attaqué, sans qu'il soit nécessaire de réformer ou de préciser ledit jugement en ce sens comme le recourant le demande inutilement.
7. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 30 novembre 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Berthoud