Faits:
Faits:
A. A.a D._, né en 1953, a travaillé comme employé de voirie à Y._ depuis 1988. Après plusieurs périodes d'arrêt de travail en 1995, son médecin traitant, le docteur U._, a attesté une incapacité de travail complète dès le 30 mars 1996.
D._ était au bénéfice d'une assurance perte de gain en cas de maladie, conclue par son employeur auprès de l'Elvia société suisse d'assurances. Celle-ci a chargé le docteur V._, spécialiste FMH en chirurgie orthopédique, d'une expertise relative à la capacité de travail du prénommé. Dans son rapport, daté du 7 octobre 1996, ce praticien a fait état de lombo-sciatalgies droites chroniques sur spondylolisthésis de degré II de L5 sur S1, entraînant une incapacité de travail de 50 % dans la profession exercée jusqu'alors; en revanche, ces affections n'empêchaient pas l'assuré d'exercer une activité semi-assise ne nécessitant pas le port de charges supérieures à 10 kg de façon régulière. Le docteur V._ a également constaté qu'une forte surcharge psychogène pouvait avoir une influence supplémentaire sur la capacité de travail de l'assuré.
Dans un rapport du 26 novembre 1996, le docteur N._, spécialiste FMH en psychiatrie et psychothérapie, a posé le diagnostic de troubles somatoformes douloureux chroniques. Selon ce praticien, l'incapacité de travail en relation avec les troubles psychiques constatés était de 20 %, mais une réadaptation professionnelle devait être entreprise rapidement pour avoir des chances de succès.
Entre-temps, D._ avait adressé une demande de prestations à l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : Office AI), le 7 novembre 1996. Le 21 novembre suivant, le docteur U._ a adressé à cet office un rapport médical faisant état d'un spondylolisthésis entraînant une incapacité de travail de 50 % dans la profession exercée jusqu'alors, à laquelle s'ajoutait une incapacité de travail de 10 à 20 % en raison de troubles psychiques.
Par décision du 1er février 2000, notifiée le 14 février 2000, l'office AI a rejeté la demande de prestations. Le 27 juillet 2000, le Tribunal des assurances du canton de Vaud a rejeté un recours de l'assuré contre cette décision. Par arrêt du 21 mai 2001, le Tribunal fédéral des assurances a annulé le jugement cantonal et la décision du 1er février 2000, et a renvoyé la cause à l'Office AI pour instruction complémentaire et nouvelle décision, les expertises réalisées par les docteurs V._ et N._ ne permettant pas de statuer sur l'évolution de l'état de santé de l'assuré depuis qu'elles avaient été établies.
A.b L'Office AI a confié au docteur G._, médecin à la Clinique X._, le soin de réaliser une nouvelle expertise. S'appuyant notamment sur les résultats d'un examen psychiatrique confié au docteur A._ (rapport du 24 septembre 2002) et d'un examen orthopédique pratiqué par le docteur B._ (rapport du 29 août 2002), l'expert a attesté une incapacité de travail de 70 % dans une activité ne nécessitant ni port de charge ni déplacements, ni flexion antérieure ou rotation du tronc. Il précisait que les atteintes à la santé physique de l'assuré entraînaient une incapacité de travail de 50 % dans une telle activité, à laquelle s'ajoutait une incapacité de travail de 20 % en raison de troubles somatoformes douloureux (rapport du 7 octobre 2002 et rapport complémentaire du 12 février 2003).
Par trois décisions séparées du 15 juillet 2003 et une décision sur opposition du 4 juin 2004, l'Office AI a alloué à D._ un quart de rente pour la période du 1er août au 31 octobre 1997 et une demi-rente d'invalidité pour la période courant dès le 1er novembre suivant.
Par trois décisions séparées du 15 juillet 2003 et une décision sur opposition du 4 juin 2004, l'Office AI a alloué à D._ un quart de rente pour la période du 1er août au 31 octobre 1997 et une demi-rente d'invalidité pour la période courant dès le 1er novembre suivant.
B. L'assuré a déféré la cause au Tribunal des assurances du canton de Vaud. Celui-ci a rejeté le recours, le 14 décembre 2004.
B. L'assuré a déféré la cause au Tribunal des assurances du canton de Vaud. Celui-ci a rejeté le recours, le 14 décembre 2004.
C. D._ interjette un recours de droit administratif contre ce jugement. Il en demande la réforme en ce sens qu'une rente entière d'invalidité lui soit allouée avec effet dès le 1er mars 1997. L'intimé conclut au rejet du recours, alors que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Selon l'art. 132 OJ, dans sa teneur en vigueur jusqu'au 30 juin 2006 (RO 1969 p. 801), en relation avec les art. 104 et 105 OJ, le pouvoir d'examen du Tribunal fédéral des assurances, dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est pas lié par l'état de fait constaté par la juridiction inférieure et peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci.
La loi fédérale du 16 décembre 2005 portant modification de la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003) et entraîne des modifications des art. 132 et 134 OJ. Toutefois, conformément aux dispositions transitoires figurant au ch. II let. c de la fédérale du 16 décembre 2005, la présente procédure reste soumise aux dispositions de l'OJ telles qu'en vigueur jusqu'au 30 juin 2006.
La loi fédérale du 16 décembre 2005 portant modification de la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003) et entraîne des modifications des art. 132 et 134 OJ. Toutefois, conformément aux dispositions transitoires figurant au ch. II let. c de la fédérale du 16 décembre 2005, la présente procédure reste soumise aux dispositions de l'OJ telles qu'en vigueur jusqu'au 30 juin 2006.
2. 2.1 La loi fédérale du 6 octobre 2000 sur la partie générale du droit des assurances sociales (LPGA) et la novelle du 21 mars 2003 modifiant la LAI (4ème révision) sont entrées en vigueur respectivement les 1er janvier 2003 et 1er janvier 2004, entraînant de nombreuses modifications légales dans l'assurance-invalidité. Compte tenu de la date de la décision administrative litigieuse (4 juin 2004), la juridiction cantonale devait examiner les prétentions du recourant à l'aune des dispositions de la LAI en vigueur jusqu'au 31 décembre 2002, pour la période courant jusqu'à cette date, puis en tenant compte des modifications législatives entrées en vigueur le 1er janvier 2003, pour la période du 1er janvier 2003 au 31 décembre 2003, et enfin de l'entrée en vigueur de la 4ème révision de l'AI, pour la période courant depuis le 1er janvier 2004. En effet, la législation en vigueur en cas de changement de règles de droit reste celle qui était en vigueur lors de la réalisation de l'état de fait qui doit être apprécié juridiquement ou qui a des conséquences juridiques, sous réserve de dispositions particulières de droit transitoire (<ref-ruling> sv. consid. 1.2.1, 127 V 467 consid. 1, 126 V 166 consid. 4); par ailleurs, les faits sur lesquels le juge des assurances sociales peut être amené à se prononcer sont ceux qui se sont produit jusqu'au moment de la décision administrative litigieuse (<ref-ruling> consid. 1b).
2.2 Cela étant, ni la LPGA, ni la 4ème révision de l'AI n'ont modifié la notion d'invalidité, ni la manière d'évaluer le taux d'invalidité (<ref-ruling>). Pour les assurés exerçant une activité lucrative, l'invalidité est la diminution permanente ou de longue durée, résultant d'une atteinte à la santé assurée, des possibilités de gain sur un marché du travail équilibré qui entre en ligne de compte pour l'assuré (cf. art. 7 et 8 al. 1 LPGA; <ref-ruling> consid. 3.3, 119 V 470 consid. 2b, 116 V 249 consid. 1b). Pour évaluer le taux d'invalidité, le revenu que l'assuré aurait pu obtenir s'il n'était pas invalide est comparé avec celui qu'il pourrait obtenir en exerçant l'activité qui peut raisonnablement être exigée de lui après les traitements et les mesures de réadaptation sur un marché du travail équilibré (<ref-law>; <ref-ruling> sv. consid. 3.4).
En ce qui concerne l'échelonnement des rentes selon le taux d'invalidité, l'art. 28 al. 1 et 2 LAI, tel qu'en vigueur jusqu'au 31 décembre 2003 (RO 1987 p. 449), prévoyait que l'assuré avait droit à un quart de rente s'il était invalide à 40 % au moins, à une demi-rente s'il était invalide à 50 % au moins, et à une rente entière s'il était invalide à 66 2/3 % au moins. Depuis le 1er janvier 2004, cette disposition prévoit l'échelonnement des rentes comme suit : un quart de rente pour 40 % d'invalidité au moins, une demi-rente pour 50 % d'invalidité au moins, trois quarts de rente pour 60 % d'invalidité au moins et une rente entière pour 70 % d'invalidité au moins.
En ce qui concerne l'échelonnement des rentes selon le taux d'invalidité, l'art. 28 al. 1 et 2 LAI, tel qu'en vigueur jusqu'au 31 décembre 2003 (RO 1987 p. 449), prévoyait que l'assuré avait droit à un quart de rente s'il était invalide à 40 % au moins, à une demi-rente s'il était invalide à 50 % au moins, et à une rente entière s'il était invalide à 66 2/3 % au moins. Depuis le 1er janvier 2004, cette disposition prévoit l'échelonnement des rentes comme suit : un quart de rente pour 40 % d'invalidité au moins, une demi-rente pour 50 % d'invalidité au moins, trois quarts de rente pour 60 % d'invalidité au moins et une rente entière pour 70 % d'invalidité au moins.
3. Le recourant reproche à la juridiction cantonale de s'être écartée des constatations du docteur G._ relatives à sa capacité résiduelle de travail dans une activité adaptée et d'avoir par conséquent fixé à tort son degré d'invalidité à un taux inférieur à 70 %.
3.1 Le docteur G._ a considéré que les atteintes à la santé physique de l'assuré entraînaient une incapacité de travail de 50 % dans une activité ne nécessitant ni port de charge, ni déplacements, ni flexion antérieure ou rotation du tronc. Sur ce point, il s'est référé pour l'essentiel à un rapport du 29 août 2002 du docteur B._. Il a considéré qu'il convenait d'y ajouter une incapacité de travail de 20 %, attestée par le docteur A._ en raison d'atteintes à la santé psychique. Après un entretien de synthèse, il a ainsi proposé de retenir une incapacité de travail globale de 70 % dans une activité adaptée. En soi, une telle démarche ne suffit pas à considérer que l'expert se serait écarté du mandat qui lui a été confié et nier d'emblée la valeur probante de ses constatations relatives à la capacité de travail résiduelle de l'assuré, contrairement à l'opinion des premiers juges. Tel n'est en tout cas pas le sens de l'arrêt S. du 26 mai 2003 (I 143/03), cité dans le jugement entrepris. En effet, l'un des objectifs de toute expertise pluridisciplinaire est précisément d'établir, dans un rapport de synthèse, si les incapacités de travail attestées par divers spécialistes se recouvrent partiellement ou entièrement (cf. arrêt R. du 26 mai 2003 [I 506/02], consid. 2.2). Cela étant, les constatations de l'expert seront tenues pour probantes s'il explique son point de vue de manière cohérente et si les autres exigences posées par la jurisprudence en la matière sont remplies (sur ces exigences : <ref-ruling> ss, consid. 3). C'est sur cette base qu'il convient de vérifier la valeur probante des constatations figurant dans l'expertise litigieuse.
3.1 Le docteur G._ a considéré que les atteintes à la santé physique de l'assuré entraînaient une incapacité de travail de 50 % dans une activité ne nécessitant ni port de charge, ni déplacements, ni flexion antérieure ou rotation du tronc. Sur ce point, il s'est référé pour l'essentiel à un rapport du 29 août 2002 du docteur B._. Il a considéré qu'il convenait d'y ajouter une incapacité de travail de 20 %, attestée par le docteur A._ en raison d'atteintes à la santé psychique. Après un entretien de synthèse, il a ainsi proposé de retenir une incapacité de travail globale de 70 % dans une activité adaptée. En soi, une telle démarche ne suffit pas à considérer que l'expert se serait écarté du mandat qui lui a été confié et nier d'emblée la valeur probante de ses constatations relatives à la capacité de travail résiduelle de l'assuré, contrairement à l'opinion des premiers juges. Tel n'est en tout cas pas le sens de l'arrêt S. du 26 mai 2003 (I 143/03), cité dans le jugement entrepris. En effet, l'un des objectifs de toute expertise pluridisciplinaire est précisément d'établir, dans un rapport de synthèse, si les incapacités de travail attestées par divers spécialistes se recouvrent partiellement ou entièrement (cf. arrêt R. du 26 mai 2003 [I 506/02], consid. 2.2). Cela étant, les constatations de l'expert seront tenues pour probantes s'il explique son point de vue de manière cohérente et si les autres exigences posées par la jurisprudence en la matière sont remplies (sur ces exigences : <ref-ruling> ss, consid. 3). C'est sur cette base qu'il convient de vérifier la valeur probante des constatations figurant dans l'expertise litigieuse.
3.2 3.2.1 Le taux d'incapacité de travail de 70 % dans une activité adaptée est expliqué comme suit dans l'expertise du 7 octobre 2002 : «Sur un socle somatique invalidant (incapacité de 100 % dans son ancienne profession, incapacité de 50 % dans une profession adaptée) se greffe une atteinte psychique également invalidante, valant pour 20 %. De notre entretien de synthèse, il ressort que, dans le cas précis, l'incapacité somatique et l'incapacité psychique doivent être cumulées et ne peuvent se comprendre l'une dans l'autre. Il en résulte donc une incapacité globale dans une profession adaptée de 70 %.» Invité a exposer plus clairement les raisons pour lesquelles il convenait d'additionner les taux d'incapacité de travail retenus par les docteurs B._ et A._, le docteur G._ a précisé : «Au terme de notre discussion de synthèse, nous avons décidé de cumuler les incapacités de travail, essentiellement en raison de la conjonction des troubles psychiques, neuropsychologiques et physiques. En effet, si D._ présente bien une capacité somatique, quoique réduite, ce sont les troubles psychiques observés qui rendent impossible la mise en valeur de cette capacité. C'est pour cette raison que nous avons estimé justifié le cumul.»
3.2.2 Ces affirmations ne sont pas étayées par des explications claires quant aux motifs pour lesquels les atteintes à la santé psychique du recourant nécessiteraient un allégement supplémentaire du rythme ou du temps de travail, par rapport à l'incapacité de travail de 50 % déjà admise en raison des atteintes à la santé physique. Par ailleurs, elles ne sont pas corroborées par la gravité des troubles somatoformes douloureux décrits par les docteurs A._ et N._. A cet égard, il ressort des expertises des docteurs V._ et N._ qu'en 1996, le recourant présentait tout au plus un taux d'incapacité de travail de 20 % eu égard aux atteintes à sa santé physique et psychique. Le docteur N._ avait attesté ce taux d'incapacité de travail, en raison de troubles somatoformes douloureux, au terme d'une expertise probante. Il a expressément fait mention des constatations du docteur V._ d'après lesquelles l'assuré souffrait d'atteintes à sa santé physique qui pouvaient expliquer partiellement ses douleurs et entraînaient une incapacité de travail de 50 % dans des activités lourdes. Le psychiatre a donc tenu compte des influences réciproques des atteintes à la santé physique et psychique de l'assuré, mais n'a finalement admis qu'une influence limitée des atteintes à la santé psychique sur la capacité résiduelle de travail.
Six ans plus tard, le docteur A._ a constaté : «Par rapport à la description du Dr N._, l'état psychique de l'assuré n'a guère varié. On retrouve le même type de plaintes. L'assuré présente même une thymie un peu plus joyeuse que dans la description. Il n'y a en tout cas pas d'élément pouvant mettre en évidence une claire détérioration. On ne relève pas non plus, dans l'intervalle, de traitement psychiatrique.» Le docteur A._ ajoute qu'à son avis, le diagnostic de personnalité obsessionnelle compulsive posé par le docteur N._ devrait être ramené à celui de personnalité aux traits obsessionnels, dès lors que l'assuré ne présente pas tous les critères qui pourraient justifier le diagnostic précédent. Aussi considère-t-il que «les comorbidités du trouble somatoforme persistant sont réduites.» Dans ces conditions, les conclusions du rapport de synthèse du 7 octobre 2002, d'après lesquelles les troubles psychiques du recourant l'empêcheraient de mettre en valeur ses capacités physiques dans une activité exercée à plus de 30 %, ne trouvent pas un appui suffisant dans les constatations effectuées par le docteur A._ et sont plutôt contredites par celles du docteur N._. Appliqués au cas d'espèce, les critères posés par la jurisprudence relative à l'appréciation du caractère invalidant de troubles somatoformes douloureux (<ref-ruling>, 131 V 49) ne conduisent d'ailleurs pas à une autre conclusion. On relèvera plus particulièrement, en l'occurrence, l'absence d'une comorbidité psychiatrique importante par sa durée, son acuité et son intensité, et d'une perte d'intégration sociale dans toutes les manifestations de la vie, ainsi que la recherche d'un profit secondaire tiré de la maladie et des plaintes très importantes, mais dont les caractéristiques demeurent vagues, mentionnées par la plupart des médecins consultés.
3.2.3 Vu ce qui précède, les premiers juges ont admis à juste titre qu'une incapacité de travail de 50 % dans une activité adaptée, telle que décrite par le docteur B._, tenait suffisamment compte de l'ensemble des atteintes à la santé dont souffre le recourant. Ce dernier ne conteste pas, à juste titre, les autres aspects de la décision administrative litigieuse, sur lesquels il n'y a donc pas lieu de revenir.
3.2.3 Vu ce qui précède, les premiers juges ont admis à juste titre qu'une incapacité de travail de 50 % dans une activité adaptée, telle que décrite par le docteur B._, tenait suffisamment compte de l'ensemble des atteintes à la santé dont souffre le recourant. Ce dernier ne conteste pas, à juste titre, les autres aspects de la décision administrative litigieuse, sur lesquels il n'y a donc pas lieu de revenir.
4. La procédure porte sur l'octroi ou le refus de prestations d'assurance, de sorte qu'elle est gratuite (art. 134 OJ, dans sa teneur en vigueur jusqu'au 1er juillet 2006; cf. consid. 1 supra). Le recourant, qui voit ses conclusions rejetées, ne peut prétendre de dépens.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 11 juillet 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IIIe Chambre: Le Greffier: