Faits: Faits: A. A.a M._, né le 12 mars 1953, a travaillé en qualité de maçon au service de l'entreprise X._ SA. A ce titre, il était assuré contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après : la CNA). Le 16 septembre 1993, alors qu'il était occupé sur un chantier, il a été victime d'une fracture complexe per- et sous-trochantérienne gauche. A la suite de cet événement, il a présenté une incapacité totale de travail dans son activité professionnelle. Son cas a été pris en charge par la CNA. Par décision du 27 février 1998, confirmée sur opposition le 29 avril 1998, celle-ci a alloué à l'assuré à partir du 1er octobre 1997 une rente d'invalidité pour une incapacité de gain de 40 %, ainsi qu'une indemnité pour atteinte à l'intégrité. A.b Le 12 avril 1994, M._ a présenté une demande de prestations de l'assurance-invalidité. Par décision du 31 juillet 1995, l'Office de l'assurance-invalidité pour le canton de Vaud a alloué à l'assuré à partir du 1er septembre 1994 une rente entière d'invalidité, assortie d'une rente complémentaire pour son épouse et de deux rentes pour enfant, basées sur un taux d'invalidité de 100 %. Par décision du 13 mai 1996, il a modifié l'échelle de rentes à la base de ces prestations et augmenté le montant des rentes servies. Après révision du droit de M._ à une rente entière d'invalidité, l'office AI, dans une communication du 15 octobre 1996, a avisé celui-ci qu'il avait constaté que son invalidité n'avait pas subi de modification susceptible d'influencer son droit à la rente. A.c A partir d'octobre 1999, l'office AI a procédé à la révision du droit de M._ à une rente d'invalidité. Selon un rapport médical du 10 mars 2000 du docteur B._, médecin de l'Hôpital X._, l'examen de la mobilité de la hanche gauche avait démontré qu'elle était légèrement diminuée par rapport à la droite mais de façon très modérée. Il indiquait que la capacité de travail du patient dans une activité adaptée, soit une activité professionnelle sans déplacement, pouvait être envisagée avec un taux de 100 %. Dans une expertise du 28 juillet 2000, le docteur W._, spécialiste FMH en chirurgie orthopédique, a retenu une restructuration osseuse post-traumatique prolongée et retardée de la région inter- et sous-trochantérienne gauche, qui n'était pas terminée. Comme diagnostic indépendant de l'accident du 16 septembre 1993, il a retenu une discopathie L4-5 ébauchée et une spondylose déformante L3-5 ébauchée. L'expert indiquait notamment que la diminution de la mobilité articulaire et les défauts de la réduction osseuse ne jouaient qu'un rôle secondaire, mais pas négligeable. L'activité de maçon n'apparaissait pas possible. Se fondant sur un rapport intermédiaire du 18 juillet 2000 de sa division réadaptation, l'office AI a procédé au réexamen du droit de M._ à une rente d'invalidité. Dans un projet de décision du 22 juin 2001, il a avisé celui-ci qu'il présentait une pleine capacité de travail dans une activité adaptée à son état de santé (emploi dans le montage industriel, travaux de conditionnement dans le domaine de la production alimentaire ou dans celui de la mécanique générale). Dans une activité de ce genre, il pourrait, s'il travaillait à 100 %, réaliser un revenu annuel de 46'475 fr. (3'575 fr. x 13). Comparant ce revenu avec le gain annuel brut de 61'925 fr. qui serait le sien dans son activité de maçon s'il n'était pas atteint dans sa santé, l'office AI concluait à une invalidité de 24.94 %, taux qui ne donnait pas droit à une rente d'invalidité. Il informait l'assuré que son droit à la rente serait supprimé. M._ a contesté ce projet de décision. Selon un avis médical du 11 mars 2002 des docteurs V._ et P._, médecins du Service médical Y._, on pouvait admettre, au plan médical, que les emplois détaillés par la division de réadaptation de l'AI dans son rapport du 12 juin 2001 étaient tout à fait compatibles et exigibles en termes bio-mécaniques avec la situation orthopédique de l'assuré telle qu'elle ressort du dossier. Se référant à l'expertise du docteur W._ du 28 juillet 2000, M._ s'est déclaré en désaccord avec les constatations des médecins de l'AI. Dans un avis médical du 19 juin 2002, le docteur P._ a réfuté les arguments avancés par l'assuré. Se fondant sur le rapport du conseiller en professions du 18 juillet 2000, complété par deux rapports des 12 juin 2001 et 8 avril 2002, l'office AI, dans un nouveau projet de décision du 9 avril 2002, a avisé M._ que les activités retenues dans son premier projet de décision étaient compatibles avec son état de santé et exigibles de sa part. Mentionnant d'autres emplois qui étaient également adaptés à son handicap, il indiquait que l'assuré pourrait réaliser dans une activité de ce genre, s'il travaillait à 100 %, un revenu annuel brut de 46'371 fr. (3'567 fr. x 13). Comparant ce revenu avec le gain annuel brut de 63'783 fr. qu'il aurait pu obtenir dans son activité de maçon s'il n'était pas atteint dans sa santé, l'office AI a fixé à 27.29 % le taux d'invalidité. Par décision du 28 juin 2002, l'office AI a supprimé à partir du 1er août 2002 le droit de M._ à une rente d'invalidité. Par décision du 28 juin 2002, l'office AI a supprimé à partir du 1er août 2002 le droit de M._ à une rente d'invalidité. B. M._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de dépens, à l'annulation de celle-ci. Niant que les conditions du droit à la rente d'invalidité aient changé, il produisait un avis du docteur W._ du 22 juillet 2002. L'office AI, dans sa réponse du 7 février 2003, a conclu au rejet du recours. Il déclarait que dans sa décision du 28 juin 2002, il avait reconsidéré la décision de rente initiale du 13 mai 1996, pour le motif qu'elle était sans nul doute erronée. Dans ses observations du 8 mai 2003, M._ s'est déterminé sur la réponse de l'office AI. Par jugement du 24 juillet 2003, expédié cependant aux parties le 29 avril 2004, le Tribunal des assurances a admis partiellement le recours et réformé la décision attaquée dans le sens que M._ a droit à un quart de rente d'invalidité depuis le 1er août 2002; la cause était renvoyée à l'office AI pour qu'il procède au calcul de la rente, réexamine le cas de l'assuré et rende une nouvelle décision au sens des considérants. Par jugement du 24 juillet 2003, expédié cependant aux parties le 29 avril 2004, le Tribunal des assurances a admis partiellement le recours et réformé la décision attaquée dans le sens que M._ a droit à un quart de rente d'invalidité depuis le 1er août 2002; la cause était renvoyée à l'office AI pour qu'il procède au calcul de la rente, réexamine le cas de l'assuré et rende une nouvelle décision au sens des considérants. C. M._ interjette un recours de droit administratif contre ce jugement, en concluant, sous suite de dépens, à la réforme de celui-ci en ce sens qu'il a droit à une rente entière d'invalidité au-delà du 1er août 2002, les conditions n'étant pas remplies pour une reconsidération, qu'elle soit le fait de l'office AI ou de la juridiction cantonale; à titre subsidiaire, si la reconsidération de la décision de rente initiale était admise, il demande qu'une demi-rente d'invalidité lui soit allouée avec effet dès le 1er août 2002. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer. D. Par lettre du 19 mai 2005, le juge délégué a attiré l'attention de M._ sur l'éventualité d'une réforme à son détriment du jugement attaqué et l'a invité à se déterminer. M._ déclare maintenir son recours et produit un rapport complémentaire du docteur W._, du 14 juin 2005.