Faits:
Faits:
A. B._, ressortissant du Kosovo né en 1965, a travaillé en Suisse durant les années 1980 et au début des années 1990 dans le secteur de la restauration. Souffrant de troubles de la personnalité, il a déposé, le 24 avril 1995, une demande de prestations de l'assurance-invalidité. Par décision du 16 décembre 1996 entrée en force, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après : l'office AI) a rejeté la demande, au motif que l'invalidité alléguée était survenue à une époque où les conditions d'assurance n'étaient pas remplies.
Par lettre du 5 janvier 2004, confirmée le 17 février suivant, l'office AI a refusé d'entrer en matière sur une demande de reconsidération déposée le 16 janvier 2002 par le médecin traitant de l'assuré, le docteur S._.
Par lettre du 5 janvier 2004, confirmée le 17 février suivant, l'office AI a refusé d'entrer en matière sur une demande de reconsidération déposée le 16 janvier 2002 par le médecin traitant de l'assuré, le docteur S._.
B. Par jugement du 20 février 2006, le Tribunal des assurances du canton de Vaud a déclaré irrecevable le recours de l'assuré formé contre ce refus.
B. Par jugement du 20 février 2006, le Tribunal des assurances du canton de Vaud a déclaré irrecevable le recours de l'assuré formé contre ce refus.
C. B._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
C. B._ a interjeté un recours de droit administratif contre ce jugement dont il a demandé l'annulation. L'office AI a conclu au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
D. Par décision incidente du 15 mars 2007, le Tribunal fédéral a rejeté la demande d'assistance judiciaire de l'assuré et lui a imparti un délai de 14 jours pour déclarer s'il entendait retirer, sans frais, son recours. Par écriture du 23 mars 2007, B._ a déclaré maintenir son recours.
Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
2. Le litige n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation. Il revoit d'office l'application du droit fédéral sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision attaquée, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure. Au surplus, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 132 [dans sa teneur en vigueur jusqu'au 1er juillet 2006] en corrélation avec les art. 104 et 105 al. 2 OJ).
2. Le litige n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral examine uniquement si l'autorité cantonale de recours a violé le droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation. Il revoit d'office l'application du droit fédéral sans être lié par les motifs invoqués par les parties (art. 114 al. 1 in fine OJ). Lorsque le recours est dirigé contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision attaquée, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure. Au surplus, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 132 [dans sa teneur en vigueur jusqu'au 1er juillet 2006] en corrélation avec les art. 104 et 105 al. 2 OJ).
3. Selon un principe général du droit des assurances sociales, désormais codifié à l'art. 53 al. 2 LPGA (cf. FF 1991 II 258), l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (ATF 127 V 466 consid. 2c p. 469 et les références). Pour juger s'il est admissible de reconsidérer une décision, au motif qu'elle est sans nul doute erronée, il faut se fonder sur la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque (ATF 119 V 475 consid. 1b/cc p. 479, 117 V 8 consid. 2c p. 17 et les références).
L'administration n'est toutefois pas tenue de reconsidérer les décisions qui remplissent les conditions fixées; elle en a simplement la faculté et ni l'assuré ni le juge ne peuvent l'y contraindre. En conséquence, les décisions refusant d'entrer en matière sur une demande de reconsidération, ne peuvent, en principe, être portées devant l'autorité judiciaire. Cependant, lorsque l'administration entre en matière sur une demande de reconsidération et examine si les conditions d'une reconsidération sont remplies, puis statue au fond par une nouvelle décision de refus, celle-ci est susceptible d'être attaquée par la voie d'un recours. Le contrôle juridictionnel dans la procédure de recours subséquente se limite alors au point de savoir si les conditions d'une reconsidération (inexactitude manifeste de la décision initiale et importance notable de la rectification) sont réunies (ATF 119 V 475 consid. 1b/cc p. 479, 117 V 8 consid. 2a p. 12 et les références).
L'administration n'est toutefois pas tenue de reconsidérer les décisions qui remplissent les conditions fixées; elle en a simplement la faculté et ni l'assuré ni le juge ne peuvent l'y contraindre. En conséquence, les décisions refusant d'entrer en matière sur une demande de reconsidération, ne peuvent, en principe, être portées devant l'autorité judiciaire. Cependant, lorsque l'administration entre en matière sur une demande de reconsidération et examine si les conditions d'une reconsidération sont remplies, puis statue au fond par une nouvelle décision de refus, celle-ci est susceptible d'être attaquée par la voie d'un recours. Le contrôle juridictionnel dans la procédure de recours subséquente se limite alors au point de savoir si les conditions d'une reconsidération (inexactitude manifeste de la décision initiale et importance notable de la rectification) sont réunies (ATF 119 V 475 consid. 1b/cc p. 479, 117 V 8 consid. 2a p. 12 et les références).
4. Devant le Tribunal fédéral, le recourant soutient que la faculté prévue à l'art. 53 al. 2 LPGA n'implique pas qu'une autorité administrative dispose d'un pouvoir discrétionnaire de revenir ou non sur ses décisions. L'esprit de la loi tendrait au contraire à permettre aux assurés de faire reconsidérer des décisions grossièrement fausses. Le fait de donner toute liberté à l'administration de refuser d'entrer en matière n'est dès lors pas conforme au but de la réglementation et violerait le principe de l'interdiction de l'arbitraire (art. 9 Cst.).
Or dans un arrêt publié aux ATF 133 V 50 (consid. 4.1 et 4.2.1), le Tribunal fédéral a considéré que la jurisprudence contestée par le recourant demeurait applicable après l'entrée en vigueur de l'art. 53 al. 2 LPGA. En n'entrant pas en matière sur la demande de reconsidération, le Tribunal des assurances du canton de Vaud n'a par conséquent pas violé le droit fédéral.
Mal fondé, le recours doit être rejeté.
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 20 avril 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier: