Faits: Faits: A. Né le 1er mars 1944, T._ a travaillé au service de l'entreprise X._ SA, d'abord en qualité de maçon, puis de contremaître. Opéré au bras droit à la suite d'une chute survenue en 1996, l'assuré a tenté à plusieurs reprises de reprendre son activité à mi-temps, avant d'être mis en arrêt de travail complet dès le 21 novembre 1997. Le 16 mars 1998, il a présenté à l'Office de l'assurance invalidité pour le canton de Vaud (ci-après : l'office AI) une demande de prestations tendant à l'octroi d'une mesure de reclassement dans une nouvelle profession et une rente. Procédant à l'instruction du dossier, l'office AI a recueilli les avis des médecins consultés par l'assuré. Il a en outre confié un mandat d'expertise au docteur D._, spécialiste FMH en chirurgie orthopédique, qui a posé le diagnostic suivant : status 5 ans après résection de la clavicule distale, acromioplastie et suture de la coiffe des rotateurs de l'épaule droite; status 4 ans après excision d'un lipome sur le versant externe du coude droit; conflit sous-acromial bilatéral discret à modéré; possible neuropathie sensitive de la branche dorsale cutanée du nerf radial au niveau de l'avant-bras; cervicarthrose C6-C7; Hallux valgus bilatéral; status 9 ans après plastie du ligament collatéral cubital de la base du pouce droit. Selon ce médecin, l'assuré ne pouvait plus travailler en qualité de maçon et présentait une capacité de travail de 25 % en tant que contremaître. En revanche, dans une activité exercée à hauteur d'établi, évitant le port de lourdes charges avec le bras droit (maximum 5 kg), sa capacité de travail était entière (rapport du 6 septembre 2001). T._ a également été soumis à un examen psychiatrique auprès du Service médical régional AI (ci-après : SMR), qui a été confié aux docteurs V._, psychiatre, et F._ (rapport du 30 décembre 2002). Ces médecins ont fait état d'un trouble douloureux chronique n'entraînant aucune restriction sur le plan de la capacité de travail. Le 2 mai 2003, l'office AI a rendu deux décisions. Par la première, il a alloué à l'assuré une rente entière d'invalidité assortie d'une rente complémentaire pour conjoint du 1er décembre 1997 au 30 avril 2000. Par la seconde, il a réduit ladite rente à un quart à partir du 1er mai 2000, dès lors que le taux d'invalidité était de 47 % et que les conditions d'une demi-rente pour cas pénibles n'étaient pas satisfaites. Il a également nié le droit à une rente complémentaire pour conjoint. Saisi d'une opposition contre la seconde décision, l'office précité l'a partiellement admise en ce sens qu'il a accordé une rente complémentaire pour conjoint dès le 1er juin 2002 - date de l'entrée en vigueur de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ci-après : ALCP) - et a rejeté l'opposition pour le surplus par décision du 8 décembre 2003. Saisi d'une opposition contre la seconde décision, l'office précité l'a partiellement admise en ce sens qu'il a accordé une rente complémentaire pour conjoint dès le 1er juin 2002 - date de l'entrée en vigueur de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ci-après : ALCP) - et a rejeté l'opposition pour le surplus par décision du 8 décembre 2003. B. L'assuré a déféré cette décision sur opposition au Tribunal des assurances du canton de Vaud qui l'a débouté par jugement du 2 septembre 2004. B. L'assuré a déféré cette décision sur opposition au Tribunal des assurances du canton de Vaud qui l'a débouté par jugement du 2 septembre 2004. C. T._ interjette recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à ce que la rente entière d'invalidité assortie d'une rente complémentaire pour conjoint lui soit allouée au-delà du 30 avril 2000. L'office AI conclut au rejet du recours alors que l'Office fédéral des assurances sociales n'a pas présenté de déterminations.