Faits:
Faits:
A. Par décision du 29 avril 2003, l'Office de l'assurance-invalidité pour le canton de Vaud a rejeté la demande de prestations de l'assurance-invalidité présentée le 2 septembre 1999 par S._, au motif que celui-ci présentait une invalidité de 30.48 %, taux ne donnant pas droit à une rente, et que la mise sur pied de mesures d'ordre professionnel ne se justifiait pas.
Dans une lettre du 2 mai 2003, Me Poitry, avocat à Nyon, a informé l'office AI qu'il défendait les intérêts de S._, lequel faisait élection de domicile en son étude. Celui-ci lui avait remis la décision de l'office AI du 29 avril 2003. Son mandant désirant faire opposition contre cette décision, l'avocat demandait que le dossier de son client lui soit transmis, pour consultation.
Par courrier du 12 mai 2003, l'office AI a transmis à Me Poitry le dossier concernant S._. Il avisait l'avocat qu'il restait dans l'attente de ses éventuelles objections à la décision du 29 avril 2003 d'ici au 6 juin 2003. Dans une communication du 28 mai 2003, l'office AI, accusant réception de l'opposition formée le 2 mai 2003 contre la décision du 29 avril 2003, a informé Me Poitry qu'il allait procéder à un nouvel examen du dossier à la lumière des éléments qu'il avançait et qu'il lui notifierait ensuite une décision sur opposition sujette à recours.
Le 6 juin 2003, Me Poitry a remis à l'office AI un mémoire contenant des conclusions et une motivation.
Par décision du 4 mars 2004, l'office AI a refusé d'entrer en matière sur l'opposition formée le 6 juin 2003, pour cause de tardiveté. En effet, le délai légal de trente jours pour former opposition était échu le 2 juin 2003, délai qui ne pouvait être prolongé, ce qu'un juriste était censé savoir.
Par décision du 4 mars 2004, l'office AI a refusé d'entrer en matière sur l'opposition formée le 6 juin 2003, pour cause de tardiveté. En effet, le délai légal de trente jours pour former opposition était échu le 2 juin 2003, délai qui ne pouvait être prolongé, ce qu'un juriste était censé savoir.
B. Invoquant l'interdiction du formalisme excessif et le principe de la bonne foi, S._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci, la cause étant renvoyée à l'office AI pour nouvelle décision.
Par jugement du 18 novembre 2004, la juridiction cantonale a admis le recours, annulé la décision de non-entrée en matière du 4 mars 2004 et renvoyé le dossier à l'office AI pour qu'il procède dans le sens des considérants. Considérant que l'opposition avait été valablement déposée le 2 mai 2003 dans le délai de trente jours, comme l'avait admis l'office AI dans sa lettre du 28 mai 2003, le Tribunal des assurances a invité l'office AI à entrer en matière sur l'opposition de l'intéressé.
Par jugement du 18 novembre 2004, la juridiction cantonale a admis le recours, annulé la décision de non-entrée en matière du 4 mars 2004 et renvoyé le dossier à l'office AI pour qu'il procède dans le sens des considérants. Considérant que l'opposition avait été valablement déposée le 2 mai 2003 dans le délai de trente jours, comme l'avait admis l'office AI dans sa lettre du 28 mai 2003, le Tribunal des assurances a invité l'office AI à entrer en matière sur l'opposition de l'intéressé.
C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci, la décision du 4 mars 2004 étant confirmée.
S._ conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales n'a pas déposé d'observations.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le refus de l'office AI d'entrer en matière sur l'opposition à la décision du 29 avril 2003. La présente procédure n'a donc pas pour objet d'examiner le droit à des prestations d'assurance, de sorte que le Tribunal fédéral des assurances se limitera à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou encore s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1. Le litige porte sur le refus de l'office AI d'entrer en matière sur l'opposition à la décision du 29 avril 2003. La présente procédure n'a donc pas pour objet d'examiner le droit à des prestations d'assurance, de sorte que le Tribunal fédéral des assurances se limitera à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou encore s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. 2.1 Selon l'<ref-law>, les décisions rendues en matière d'assurance sociale peuvent être attaquées dans les trente jours par voie d'opposition auprès de l'assureur qui les a rendues, à l'exception des décisions d'ordonnancement de la procédure.
L'<ref-law>, édicté sur la base de la délégation de compétence prévue à l'<ref-law>, prévoit que l'opposition doit contenir des conclusions et être motivée. Si elle ne satisfait pas à ces exigences ou si elle n'est pas signée, l'assureur impartit un délai convenable pour réparer le vice, avec l'avertissement qu'à défaut, l'opposition ne sera pas recevable (<ref-law>).
2.2 L'opposition est un moyen de droit permettant au destinataire d'une décision d'en obtenir le réexamen par l'autorité, avant qu'un juge ne soit éventuellement saisi (cf. <ref-ruling> consid. 2a et les références). Elle assure la participation de l'assuré au processus de décision et poursuit notamment un but d'économie de procédure et de décharge des tribunaux, dans les domaines du droit administratif où des décisions particulièrement nombreuses sont rendues (Ueli Kieser, ATSG-Kommentar : Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zurich 2003, n. 2 s. ad art. 52, avec les références; Pierre Moor, Droit administratif, vol. II : Les actes administratifs et leur contrôle, 2ème édition, Berne 2002, p. 533 n° 5.3.2.2; André Grisel, Traité de droit administratif, vol. II, p. 939). Dans ce cadre, la procédure d'opposition ne revêt de véritable intérêt que si l'opposant doit exposer les motifs de son désaccord avec la décision le concernant (voir cependant Kieser, op. cit., n. 13 ad art. 52); à défaut, on courrait le risque de faire de l'opposition une simple formalité avant le dépôt d'un recours en justice, sans qu'assuré et autorité aient véritablement examiné sur quoi portent leurs divergences. Les exigences formelles posées par l'<ref-law> concrétisent, par ailleurs, l'obligation de l'assuré de collaborer à l'exécution des différentes lois d'assurances sociales (art. 28 al. 1 et 43 al. 3 LPGA; Marco Reichmuth, ATSG - [erste] Erfahrungen in der IV, in : Schaffhauser/Kieser (édit.), Praktische Anwendungsfragen des ATSG, St-Gall 2004, p. 44), et correspondent largement à celles posées par la jurisprudence antérieure à la LPGA pour la procédure d'opposition prévue dans certaines branches d'assurances sociales (<ref-ruling> consid. 3 et les références; voir également, en matière d'assurance-accidents, l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2002).
2.2 L'opposition est un moyen de droit permettant au destinataire d'une décision d'en obtenir le réexamen par l'autorité, avant qu'un juge ne soit éventuellement saisi (cf. <ref-ruling> consid. 2a et les références). Elle assure la participation de l'assuré au processus de décision et poursuit notamment un but d'économie de procédure et de décharge des tribunaux, dans les domaines du droit administratif où des décisions particulièrement nombreuses sont rendues (Ueli Kieser, ATSG-Kommentar : Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zurich 2003, n. 2 s. ad art. 52, avec les références; Pierre Moor, Droit administratif, vol. II : Les actes administratifs et leur contrôle, 2ème édition, Berne 2002, p. 533 n° 5.3.2.2; André Grisel, Traité de droit administratif, vol. II, p. 939). Dans ce cadre, la procédure d'opposition ne revêt de véritable intérêt que si l'opposant doit exposer les motifs de son désaccord avec la décision le concernant (voir cependant Kieser, op. cit., n. 13 ad art. 52); à défaut, on courrait le risque de faire de l'opposition une simple formalité avant le dépôt d'un recours en justice, sans qu'assuré et autorité aient véritablement examiné sur quoi portent leurs divergences. Les exigences formelles posées par l'<ref-law> concrétisent, par ailleurs, l'obligation de l'assuré de collaborer à l'exécution des différentes lois d'assurances sociales (art. 28 al. 1 et 43 al. 3 LPGA; Marco Reichmuth, ATSG - [erste] Erfahrungen in der IV, in : Schaffhauser/Kieser (édit.), Praktische Anwendungsfragen des ATSG, St-Gall 2004, p. 44), et correspondent largement à celles posées par la jurisprudence antérieure à la LPGA pour la procédure d'opposition prévue dans certaines branches d'assurances sociales (<ref-ruling> consid. 3 et les références; voir également, en matière d'assurance-accidents, l'<ref-law>, dans sa teneur en vigueur jusqu'au 31 décembre 2002).
3. 3.1 Les premiers juges ont retenu que le conseil de l'assuré avait adressé à l'office AI, sous pli simple, un courrier daté du 2 mai 2003, qui montrait clairement la volonté de celui-ci de faire opposition à la décision du 29 avril 2003. De surcroît, il a demandé à consulter le dossier AI, ce à quoi l'office AI a répondu par courrier du 12 mai suivant, en lui envoyant le dossier et en l'invitant à motiver l'opposition dans un délai échéant le 6 juin 2003. De l'avis de la juridiction cantonale, l'opposition a été valablement déposée le 2 mai 2003 dans le délai de trente jours prévu à l'<ref-law>, tel que l'admet d'ailleurs l'office AI dans sa lettre du 28 mai 2003, par laquelle il accuse réception de l'opposition formée le 5 mai 2003 contre sa décision du 29 avril 2003.
3.2 Cela est contesté par le recourant. Celui-ci est d'avis que l'on ne peut pas considérer la lettre de l'avocat de l'assuré du 2 mai 2003 comme une opposition, même provisoire. On ne saurait non plus reprocher à l'office AI d'avoir implicitement prolongé le délai pour faire opposition au 6 juin 2003. En effet, un juriste est censé savoir qu'un délai légal ne peut pas être prolongé, de sorte que l'avocat de l'intimé aurait dû se rendre compte de l'inexactitude de l'information et déposer son opposition dans le délai échéant le 2 juin 2003.
3.3 Avec les premiers juges, il faut admettre que l'assuré, par son mandataire, a montré clairement dans sa lettre du 2 mai 2003 sa volonté de faire opposition à la décision du 29 avril 2003 de refus de prestations. Cela ressort du texte même de la lettre, où l'avocat informait l'office AI que son mandant désirait faire opposition contre cette décision.
C'est du reste ainsi que l'a compris, dans un premier temps tout au moins, l'office AI dans ses lettres des 12 et 28 mai 2003. S'il devait subsister un doute à ce sujet, l'opposant pouvait de bonne foi considérer que l'office AI tenait son écriture du 2 mai 2003 pour une opposition en bonne et due forme. D'autant plus que le délai pour former opposition contre la décision du 29 avril 2003 n'était pas expiré lorsque l'office AI, dans sa lettre du 28 mai 2003, a accusé réception de l'opposition.
Certes, la lettre du 2 mai 2003 ne contenait ni conclusions ni motifs. Conformément à l'<ref-law>, il appartenait à l'office AI d'impartir à l'opposant un délai convenable pour réparer le vice. On ne saurait dès lors reprocher à l'intimé d'avoir déposé le 6 juin 2003, soit dans le délai imparti par l'office AI dans sa lettre du 12 mai 2003, un mémoire contenant des conclusions et une motivation. Il n'était pas nécessaire que la réparation du vice intervînt dans le délai de trente jours.
Certes, la lettre du 2 mai 2003 ne contenait ni conclusions ni motifs. Conformément à l'<ref-law>, il appartenait à l'office AI d'impartir à l'opposant un délai convenable pour réparer le vice. On ne saurait dès lors reprocher à l'intimé d'avoir déposé le 6 juin 2003, soit dans le délai imparti par l'office AI dans sa lettre du 12 mai 2003, un mémoire contenant des conclusions et une motivation. Il n'était pas nécessaire que la réparation du vice intervînt dans le délai de trente jours.
4. Vu ce qui précède, les conclusions du recourant sont mal fondées. La procédure est onéreuse (consid. 1 supra et art. 134 OJ a contrario), de sorte que les frais de justice seront mis à sa charge (art. 156 al. 1 en liaison avec l'art. 135 OJ). Il s'acquittera également d'une indemnité de dépens en faveur de l'intimé (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. L'Office de l'assurance-invalidité pour le canton de Vaud versera à l'intimé la somme de 2'000 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
3. L'Office de l'assurance-invalidité pour le canton de Vaud versera à l'intimé la somme de 2'000 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 2 juin 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: Le Greffier: