Faits:
Faits:
A. S._ a travaillé en qualité de vendeur de voitures jusqu'en octobre 1997. Invoquant notamment des douleurs cervicales, dorsales et lombaires, il s'est annoncé à l'assurance-invalidité le 6 avril 1999.
Le 25 mai 2000, le docteur J._, spécialiste en médecine physique et en rhumatologie, a fait état, parmi d'autres affections, de troubles dégénératifs rachidiens pluriétagés avec hernie discale cervicale et lombaire, ainsi que de douleurs aux deux genoux sur atteinte dégénérative et capsulaire. Le traitement consistait en l'administration d'anti-inflammatoires, d'antalgiques et récemment d'antidépresseurs. Quant à l'incapacité de travail, ce médecin l'a évaluée à 50 % depuis 1998. Par ailleurs, le docteur J._ a indiqué, le 7 mai 2001, que l'on s'acheminait vers un emploi probablement déclassé de type occupationnel à 30 % environ, toute autre activité paraissant difficilement exigible.
Par décision du 18 septembre 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a alloué une demi-rente d'invalidité à l'assuré à partir du 1er mai 1999, fondée sur un degré d'invalidité de 50 %.
Par décision du 18 septembre 2001, l'Office de l'assurance-invalidité pour le canton de Vaud (l'office AI) a alloué une demi-rente d'invalidité à l'assuré à partir du 1er mai 1999, fondée sur un degré d'invalidité de 50 %.
B. Contestant que son état de santé lui permît d'exercer une activité à 50 %, S._ a déféré cette décision au Tribunal des assurances du canton de Vaud en concluant à l'allocation d'une rente entière.
Une audience a été tenue le 29 octobre 2003. Du procès-verbal, il ressort que le Président du Tribunal a proposé de mettre en oeuvre une expertise pluridisciplinaire, mesure à laquelle le représentant de l'office AI a consenti dès lors que l'atteinte à la santé de l'assuré était aussi bien physique que psychique. Après une suspension d'audience, l'assuré a renoncé à l'expertise proposée.
Par jugement du 29 octobre 2003, la juridiction cantonale a rejeté le recours.
Par jugement du 29 octobre 2003, la juridiction cantonale a rejeté le recours.
C. S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant au renvoi de la cause à la juridiction cantonale afin qu'elle ordonne une expertise pluridisciplinaire.
L'intimé conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
Considérant en droit:
1. Selon l'art. 61 let. c LPGA, le tribunal établit avec la collaboration des parties les faits déterminants pour la solution du litige; il administre les preuves nécessaires et les apprécie librement. Cette disposition de procédure reprend le texte de l'art. 85 al. 2 let. c LAVS (abrogé au 31 décembre 2002) en faisant en outre référence au devoir de collaborer des parties; elle s'applique immédiatement en tant que règle de procédure - soit dès le jour de son entrée en vigueur (ATF 129 V 115 consid. 2.2 et les arrêts cités), en l'occurrence le 1er janvier 2003.
1. Selon l'art. 61 let. c LPGA, le tribunal établit avec la collaboration des parties les faits déterminants pour la solution du litige; il administre les preuves nécessaires et les apprécie librement. Cette disposition de procédure reprend le texte de l'art. 85 al. 2 let. c LAVS (abrogé au 31 décembre 2002) en faisant en outre référence au devoir de collaborer des parties; elle s'applique immédiatement en tant que règle de procédure - soit dès le jour de son entrée en vigueur (ATF 129 V 115 consid. 2.2 et les arrêts cités), en l'occurrence le 1er janvier 2003.
2. Aussi bien dans le domaine des assurances sociales notamment, la procédure reste - comme par le passé - régie par le principe inquisitoire, selon lequel les faits pertinents de la cause doivent être constatés d'office par le juge. Mais ce principe n'est pas absolu. Sa portée est restreinte par le devoir des parties de collaborer à l'instruction de l'affaire. Celui-ci comprend en particulier l'obligation des parties d'apporter, dans la mesure où cela peut être raisonnablement exigé d'elles, les preuves commandées par la nature du litige et des faits invoqués, faute de quoi elles risquent de devoir supporter les conséquences de l'absence de preuves (ATF 125 V 195 consid. 2 et les références).
2. Aussi bien dans le domaine des assurances sociales notamment, la procédure reste - comme par le passé - régie par le principe inquisitoire, selon lequel les faits pertinents de la cause doivent être constatés d'office par le juge. Mais ce principe n'est pas absolu. Sa portée est restreinte par le devoir des parties de collaborer à l'instruction de l'affaire. Celui-ci comprend en particulier l'obligation des parties d'apporter, dans la mesure où cela peut être raisonnablement exigé d'elles, les preuves commandées par la nature du litige et des faits invoqués, faute de quoi elles risquent de devoir supporter les conséquences de l'absence de preuves (ATF 125 V 195 consid. 2 et les références).
3. C'est en vain tout d'abord que le recourant conteste avoir refusé de collaborer à l'instruction de la cause. Comme cela ressort du procès-verbal d'audience du 29 octobre 2003, le recourant - après une suspension d'audience - a explicitement renoncé à une expertise, en invoquant notamment son âge, le fait que le dossier était à ses yeux suffisamment complet et qu'il ne désirait pas consulter de nouveaux médecins. Cette renonciation était suffisamment explicite pour que l'on pût conclure à un refus de se soumettre à une expertise et donc de collaborer à l'instruction de la cause.
3. C'est en vain tout d'abord que le recourant conteste avoir refusé de collaborer à l'instruction de la cause. Comme cela ressort du procès-verbal d'audience du 29 octobre 2003, le recourant - après une suspension d'audience - a explicitement renoncé à une expertise, en invoquant notamment son âge, le fait que le dossier était à ses yeux suffisamment complet et qu'il ne désirait pas consulter de nouveaux médecins. Cette renonciation était suffisamment explicite pour que l'on pût conclure à un refus de se soumettre à une expertise et donc de collaborer à l'instruction de la cause.
4. Le recourant soutient qu'en tout état de cause, le premier juge aurait dû passer outre et ordonner tout de même une expertise. Ce n'est qu'en cas de nouveau refus que le juge aurait pu statuer en l'état, après mise en demeure et avertissement des conséquences.
Une telle procédure de sommation - prévue à l'art. 43 LPGA en ce qui concerne l'instruction de la demande (cf. arrêts D. du 24 juin 2003 [I 700/02] et D. du 14 janvier 2003 [K 123/01] - ne peut pas être déduite des dispositions de l'art. 61 LPGA, applicable à la procédure de recours devant l'autorité cantonale, ni d'un principe général. En fait, en présence d'un refus de collaborer, le juge est fondé à procéder à une appréciation des preuves sur la base des éléments du dossier (Ueli Kieser, ATSG-Kommentar : Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zurich 2003, note 59 ad art. 61). Il ne peut toutefois se contenter d'examiner la décision attaquée sous l'angle du refus de collaborer de l'intéressé et s'abstenir de tout examen matériel de ladite décision sous l'angle des faits médicaux retenus par l'assureur (arrêt A. du 16 novembre 2001 [U 77/01]; voir aussi RCC 1985 p. 322).
Une telle procédure de sommation - prévue à l'art. 43 LPGA en ce qui concerne l'instruction de la demande (cf. arrêts D. du 24 juin 2003 [I 700/02] et D. du 14 janvier 2003 [K 123/01] - ne peut pas être déduite des dispositions de l'art. 61 LPGA, applicable à la procédure de recours devant l'autorité cantonale, ni d'un principe général. En fait, en présence d'un refus de collaborer, le juge est fondé à procéder à une appréciation des preuves sur la base des éléments du dossier (Ueli Kieser, ATSG-Kommentar : Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zurich 2003, note 59 ad art. 61). Il ne peut toutefois se contenter d'examiner la décision attaquée sous l'angle du refus de collaborer de l'intéressé et s'abstenir de tout examen matériel de ladite décision sous l'angle des faits médicaux retenus par l'assureur (arrêt A. du 16 novembre 2001 [U 77/01]; voir aussi RCC 1985 p. 322).
5. 5.1 En l'espèce, le premier juge n'a pas procédé à un examen matériel de la décision attaquée. Il a certes rappelé les principes applicables à l'évaluation de l'invalidité, mais il n'a nullement confronté ces principes à la situation du cas concret. Il a confirmé le taux d'invalidité de 50 pour cent retenu par l'administration au seul motif que l'assuré avait refusé de prêter son concours à l'instruction du cas, attitude que le juge a qualifiée «d'inadmissible» et dont il a estimé qu'elle méritait d'être «sanctionnée par l'achèvement immédiat de l'instruction de la cause».
5.2 On l'a vu, cette manière de procéder n'est pas conforme au droit. Dès lors que le premier juge n'a pas statué en l'état de dossier, il convient de lui renvoyer la cause pour qu'il se prononce sous l'angle matériel, à tout le moins sur la base des éléments de preuves dont il dispose.
Il n'est cependant contesté ni par le premier juge ni par l'office intimé qu'une expertise médicale est nécessaire dans le cas présent. En procédure fédérale, le recourant, sur le vu de ses conclusions, paraît maintenant disposé à se soumettre à cette mesure d'instruction. Il ne saurait être déchu de son droit à la mise en oeuvre d'une expertise en raison de son précédent refus. Ce refus - que rien ne justifiait a priori - a en revanche une incidence, dans des situations de ce genre, sur le droit aux dépens pour la procédure fédérale (arrêt non publié N. du 21 février 1994 [U 127/93]; infra consid. 6.2). Il appartiendra donc à l'autorité cantonale d'ordonner l'expertise envisagée. Si le recourant devait à nouveau - sans motif valable - s'y opposer, l'autorité statuera sur la base du dossier.
Il n'est cependant contesté ni par le premier juge ni par l'office intimé qu'une expertise médicale est nécessaire dans le cas présent. En procédure fédérale, le recourant, sur le vu de ses conclusions, paraît maintenant disposé à se soumettre à cette mesure d'instruction. Il ne saurait être déchu de son droit à la mise en oeuvre d'une expertise en raison de son précédent refus. Ce refus - que rien ne justifiait a priori - a en revanche une incidence, dans des situations de ce genre, sur le droit aux dépens pour la procédure fédérale (arrêt non publié N. du 21 février 1994 [U 127/93]; infra consid. 6.2). Il appartiendra donc à l'autorité cantonale d'ordonner l'expertise envisagée. Si le recourant devait à nouveau - sans motif valable - s'y opposer, l'autorité statuera sur la base du dossier.
6. 6.1 Vu la nature du litige, la procédure est gratuite (art. 134 OJ).
6.2 Selon l'art. 156 al. 6 OJ les frais inutiles sont supportés par celui qui les a occasionnés. Selon l'art. 159 al. 5 OJ, cette disposition est applicable en matière de dépens. La procédure de recours de droit administratif devant le Tribunal fédéral des assurances a été provoquée inutilement par le recourant, qui aurait pu l'éviter s'il ne s'était pas opposé à la mise en oeuvre d'une expertise dans la procédure cantonale. Pour cette raison et bien qu'il obtienne gain de cause, aucune indemnité de dépens ne lui sera allouée (cf. RCC 1989 p. 287).
Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud du 29 octobre 2003 est annulé, la cause lui étant renvoyée pour complément d'instruction et nouvelle décision au sens des motifs.
1. Le recours est admis. Le jugement du Tribunal des assurances du canton de Vaud du 29 octobre 2003 est annulé, la cause lui étant renvoyée pour complément d'instruction et nouvelle décision au sens des motifs.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Il n'est pas alloué de dépens.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 6 mai 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: Le Greffier: