Faits:
A. A.a D._ a présenté le 24 août 1999 une demande de prestations de l'assurance-invalidité. Par décision du 3 avril 2001, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé toute prestation, l'assuré présentant une invalidité de 11 %.
Le 9 mai 2001, D._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud.
A.b Le 6 décembre 2001, le docteur P._, spécialiste FMH en médecine générale à A._, a présenté une nouvelle demande pour le compte de D._.
Par décision du 5 février 2002, l'Office AI a prononcé le «rejet» de la demande, en invoquant l'effet dévolutif du recours alors pendant devant le Tribunal des assurances et en réservant un réexamen du cas une fois ce recours tranché.
B. Dans un mémoire du 20 février 2002, D._ a recouru contre la décision du 5 février 2002 devant le Tribunal des assurances du canton de Vaud. Il se plaignait d'un déni de justice de la part de l'Office AI.
Par jugement du 29 octobre 2002, la juridiction cantonale a rejeté le recours formé par D._ contre la décision du 3 avril 2001. Par jugement du 14 mai 2003, le président du Tribunal des assurances a rejeté le recours formé par celui-ci contre la décision du 5 février 2002 et renvoyé le dossier à l'Office AI pour qu'il statue sur la nouvelle demande au vu de l'ensemble des faits déterminants, en rendant telle nouvelle décision que de droit.
C. D._ interjette recours de droit administratif contre le jugement présidentiel du 14 mai 2003, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci et de la décision administrative litigieuse du 5 février 2003 (recte : 2002), le dossier étant remis à l'Office AI pour instruction et décision sur la requête du 4 janvier 2002.
L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé d'observations.

Considérant en droit:
1. Le premier juge a considéré la décision du 5 février 2002 comme une décision de suspension de la procédure. Lorsque l'autorité suspend sans raison suffisante le traitement d'une affaire, le justiciable est fondé à se plaindre d'un retard à statuer ou d'un refus de statuer (<ref-ruling> consid. 1b, 117 Ia 337 consid. 1a). C'est du reste le motif qu'a invoqué le recourant dans son recours du 20 février 2002. Le recours contre la décision en question était donc un recours pour déni de justice.
2. Conformément à la jurisprudence actuelle, le recours pour déni de justice doit être formé devant l'Office fédéral des assurances sociales (OFAS), compétent - dans le cadre de son pouvoir de surveillance - pour connaître d'un recours interjeté par un assuré contre un refus de statuer ou un retard injustifié d'un office AI (<ref-ruling>; arrêt B. du 7 août 2002, I 629/01; en ce qui concerne l'assurance-chômage, voir <ref-ruling>). L'entrée en vigueur de la LPGA, le 1er janvier 2003, a rendu obsolète cette jurisprudence dès lors que le déni de justice est expressément envisagé à l'<ref-law>, comme pouvant faire l'objet d'un recours devant le Tribunal cantonal des assurances compétent (Meyer-Blaser, Die Rechtspflegebestimmungen des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts [ATSG], in Responsabilité et assurance [REAS] 5/2002 p. 329; Kieser, ATSG Kommentar, note 11 ad art. 56; voir également à propos de l'art. 63 du projet de LPGA, devenu l'<ref-law>, FF 1999 4268).
3. 3.1 Selon les dispositions transitoires de la LPGA, l'art. 82 al. 1 première phrase LPGA prescrit que les dispositions matérielles de cette loi ne sont pas applicables aux prestations en cours et aux créances fixées avant son entrée en vigueur. Cette disposition ne règle pas les questions de droit intertemporel en matière de procédure. Seul l'<ref-law> concerne le droit de procédure (<ref-ruling> consid. 2.2). Cette disposition légale - qui prévoit que les cantons doivent adapter leur législation à la présente loi dans un délai de cinq ans à partir de son entrée en vigueur, les dispositions cantonales en vigueur restant applicables dans l'intervalle - ne règle pas, toutefois, la question de droit intertemporel qui se pose en l'espèce.
3.2 D'après la jurisprudence, en l'absence de disposition contraire, les nouvelles règles de procédure doivent être appliquées dès leur entrée en vigueur (<ref-ruling> consid. 2.2; RAMA 1998 no KV 37 p. 316 consid. 3b; SVR 1995 MV n° 4 p. 12 consid. 2b). Cependant, lorsque l'autorité a été saisie, comme en l'espèce, avant l'entrée en vigueur de la LPGA, le cas reste soumis à l'ancien droit, notamment quant à la compétence (cf. Kieser, op. cit., note 8 ad art. 82; arrêt S. du 28 mai 2003, U 255/01). Ainsi, selon l'art. 171 al. 1 OJ, les anciennes dispositions en matière de compétence et de procédure restent applicables aux affaires portées avant le 1er janvier 1945 devant le Tribunal fédéral ou dont le délai de recours a commencé à courir avant cette date. Cette règle a une certaine portée générale (<ref-ruling> consid. 3.2). En effet, conformément au principe de la perpetuatio fori, la compétence se détermine en fonction de la date d'ouverture de la procédure (<ref-ruling> consid. 4.3.1). Il faut cependant réserver le cas où l'ancienne autorité n'existe plus (<ref-ruling>).
3.3 Dans le cas particulier, au moment où l'assuré a recouru, le Tribunal des assurances du canton de Vaud n'était pas compétent. Il aurait dû se déclarer d'entrée de cause incompétent et transmettre d'office l'affaire à l'OFAS comme objet de sa compétence. Au lieu de cela, il a statué à un moment où la LPGA était déjà entrée en vigueur. Normalement, le Tribunal fédéral des assurances devrait annuler le jugement attaqué et transmettre lui-même la cause à l'OFAS.
L'affaire étant en état d'être jugée, un renvoi à l'OFAS serait contraire au principe de l'économie de la procédure. D'autant que les nouvelles règles de compétences ne sont pas défavorables au recourant. Bien au contraire, puisque le Tribunal des assurances du canton de Vaud est un tribunal établi par la loi, qui répond aux exigences de l'art. 6 § 1 CEDH (cf. <ref-ruling> consid. 3.3.3, 124 I 263 consid. 5b et 119 V 377 consid. 4), ce qui n'est pas le cas d'une autorité administrative comme l'OFAS. Par souci d'économie de la procédure et compte tenu du fait que le recours pour déni de justice doit désormais être adressé au Tribunal cantonal des assurances, il se justifie exceptionnellement de renoncer à une transmission et d'examiner le litige.
4. Il y a lieu de constater que le recourant a obtenu ce qu'il demandait puisque le premier juge a renvoyé le dossier de la cause pour qu'il statue sur la nouvelle demande de l'assuré. Indépendamment de cela, l'Office AI devait se saisir du cas, à teneur de sa décision du 5 février 2002, dès le moment déjà où le jugement du 29 octobre 2002 a été rendu. A priori, le recourant n'a pas d'intérêt pratique et actuel à obtenir l'annulation du jugement attaqué et le renvoi du dossier à l'Office AI pour décision sur la nouvelle demande (conclusions no 2 et 3 du recours).
Certes, il est renoncé à l'exigence d'un intérêt digne de protection lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la soumettre au Tribunal fédéral des assurances avant qu'elle ne perde son actualité et qu'en raison de sa portée de principe, il existe un intérêt suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 2b). Il en irait ainsi si la juridiction cantonale, comme en l'espèce, statuait systématiquement d'abord sur le recours portant sur le droit à la rente et ensuite seulement sur le recours pour retard injustifié, qui aurait de ce fait perdu toute actualité, dès lors que le prononcé du premier jugement permet à l'Office AI de se saisir de la nouvelle demande de l'assuré.
Quoi qu'il en soit, le point de savoir si l'on peut en l'occurrence renoncer à l'exigence d'un intérêt digne de protection peut demeurer indécis, car l'Office AI était en droit, dans les présentes circonstances et comme on va le voir, de différer l'examen du cas jusqu'au prononcé du jugement sur le recours contre sa précédente décision portant sur le refus d'une rente en faveur du recourant.
5. La procédure engagée par la nouvelle demande de l'assuré, motivée par une aggravation de son état de santé, porte sur des faits postérieurs à la décision du 3 avril 2001. Juridiquement, l'effet dévolutif du recours contre cette décision ne faisait donc pas obstacle à un nouvel examen du cas par l'Office AI. Mais une suspension de la procédure peut se justifier par des raisons d'opportunité (voir l'<ref-law>; Fabienne Hohl; Procédure civile, Tome II, ch. 2404), notamment en raison d'une procédure pendante devant une autre autorité. Dans ce contexte, elle peut se justifier par des motifs tirés de l'économie de la procédure (arrêt du Tribunal fédéral du 7 août 2002 dans la cause A. et consorts, 2A.167/2002). Le principe de la célérité qui découle de l'art. 29 al. 1 Cst. pose certes des limites à la suspension d'une procédure. Elle ne doit être admise qu'exceptionnellement, lorsqu'il s'agit d'attendre le prononcé de la décision d'une autre autorité et qui permettrait de trancher une question décisive (<ref-ruling> consid. 1b).
6. Dans le cas particulier, le jugement du Tribunal des assurances sur le droit à la rente était de nature à apporter des éléments déterminants pour le traitement par l'Office AI de la nouvelle demande de l'assuré. Celle-ci a été présentée huit mois seulement après le refus de rente de l'Office AI, de sorte qu'il paraissait difficile de séparer clairement les états de faits antérieurs et postérieurs à la décision précitée. L'appréciation des faits par la juridiction cantonale, ainsi que son jugement, pouvaient ainsi avoir une incidence sur la suite à donner par l'Office AI à la nouvelle demande. Ce jugement était susceptible d'entraîner l'économie d'un certain nombre de mesures d'instruction de la part de l'administration, qui eussent pu se révéler inutiles, notamment en cas d'admission du recours sur le droit à la rente. En cas de rejet ou d'admission partielle du recours ou encore de renvoi de la cause à l'administration pour complément d'instruction, la suspension pouvait permettre de mieux orienter le champ des investigations de l'Office AI. Enfin, on pouvait s'attendre, en décembre 2001 (moment du dépôt de la nouvelle demande), que le tribunal statue dans un délai rapproché sur le recours qui était alors pendant depuis le mois de mai précédent. Du reste, si tel n'était pas le cas, l'Office AI avait toujours la possibilité, d'office ou sur requête, d'instruire la nouvelle demande, sans attendre l'issue de la procédure pendante.
Sur le vu de l'ensemble de ces éléments, on doit admettre que l'Office AI avait des raisons suffisantes de surseoir à un nouvel examen du cas jusqu'à droit connu sur le recours alors pendant devant le Tribunal des assurances du canton de Vaud.
7. Il s'ensuit que le recours est mal fondé. Vu la nature de la procédure, celle-ci n'est pas gratuite (art. 134 OJ a contrario). Succombant, le recourant en supportera les frais.

Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 23 octobre 2003
Au nom du Tribunal fédéral des assurances
Le Président de la Ire Chambre: Le Greffier: