Faits:
Faits:
A. A.a A compter du 1er octobre 1983, S._ a bénéficié d'une rente entière de l'assurance-invalidité. Dès le 18 septembre 1992, il a été incarcéré à la suite d'une procédure pénale ouverte à son encontre.
Au terme d'une procédure de révision d'office, la Commission de l'assurance-invalidité du canton de Neuchâtel (ci-après : la commission), lui a supprimé le droit à la rente avec effet rétroactif au 1er janvier 1988 par décision du 4 février 1993. Celle-ci lui a été notifiée à son domicile privé.
A.b A la demande de l'assuré, l'office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI) lui a remis une copie de la décision précitée par correspondance du 28 janvier 2004. Par lettre du 20 avril suivant, l'intéressé a demandé à l'office AI de revenir sur sa décision en alléguant notamment n'en avoir eu connaissance qu'à réception d'un courrier de la Caisse de compensation du canton de Neuchâtel du 13 janvier 2004. Sa requête a été rejetée par décision du 13 septembre 2004, confirmée sur opposition le 1er décembre 2005.
A.b A la demande de l'assuré, l'office de l'assurance-invalidité du canton de Neuchâtel (ci-après : l'office AI) lui a remis une copie de la décision précitée par correspondance du 28 janvier 2004. Par lettre du 20 avril suivant, l'intéressé a demandé à l'office AI de revenir sur sa décision en alléguant notamment n'en avoir eu connaissance qu'à réception d'un courrier de la Caisse de compensation du canton de Neuchâtel du 13 janvier 2004. Sa requête a été rejetée par décision du 13 septembre 2004, confirmée sur opposition le 1er décembre 2005.
B. Saisi d'un recours contre cette décision sur opposition, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 31 mai 2006.
B. Saisi d'un recours contre cette décision sur opposition, le Tribunal administratif du canton de Neuchâtel l'a rejeté par jugement du 31 mai 2006.
C. S._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation en concluant pour l'essentiel au rétablissement de son droit à la rente entière d'invalidité. Il requiert en outre le bénéfice de l'assistance judiciaire.
L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales n'a pas présenté de déterminations.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité. Selon l'art. 132 OJ, dans sa teneur en vigueur jusqu'au 30 juin 2006 (RO 1969 p. 801), en relation avec les art. 104 et 105 OJ, le pouvoir d'examen du Tribunal fédéral des assurances, dans la procédure de recours concernant l'octroi ou le refus de prestations d'assurance, n'est pas limité à la violation du droit fédéral - y compris l'excès et l'abus du pouvoir d'appréciation - mais s'étend également à l'opportunité de la décision attaquée. Le tribunal n'est pas lié par l'état de fait constaté par la juridiction inférieure et peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci.
La loi fédérale du 16 décembre 2005 portant modification de la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003) et entraîne des modifications des art. 132 et 134 OJ. Toutefois, dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, la présente procédure reste soumise aux dispositions de l'OJ telles qu'en vigueur jusqu'au 30 juin 2006, conformément aux dispositions.
La loi fédérale du 16 décembre 2005 portant modification de la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003) et entraîne des modifications des art. 132 et 134 OJ. Toutefois, dès lors que le recours qui est soumis au Tribunal fédéral des assurances était pendant devant lui au 1er juillet 2006, la présente procédure reste soumise aux dispositions de l'OJ telles qu'en vigueur jusqu'au 30 juin 2006, conformément aux dispositions.
2. Le jugement entrepris expose correctement les règles légales et jurisprudentielles applicables au présent litige, si bien qu'il suffit d'y renvoyer.
2. Le jugement entrepris expose correctement les règles légales et jurisprudentielles applicables au présent litige, si bien qu'il suffit d'y renvoyer.
3. Tenant compte de l'ensemble des pièces du dossier, en particulier d'une lettre du recourant du 18 octobre 1999, la juridiction cantonale a considéré que les démarches entreprises par ce dernier dès le 20 avril 2004 pour contester la décision du 4 février 1993 étaient tardives, si bien que cette dernière était entrée en force. Elle constatait en outre que l'administration n'était pas entrée en matière sur une éventuelle reconsidération de cette décision.
De son côté, le recourant se plaint en substance d'une notification irrégulière de la décision de suppression de sa rente, estimant dès lors qu'elle doit être annulée et son droit à la rente rétabli.
De son côté, le recourant se plaint en substance d'une notification irrégulière de la décision de suppression de sa rente, estimant dès lors qu'elle doit être annulée et son droit à la rente rétabli.
4. En l'occurrence, l'administration savait le recourant assisté par un avocat, à tout le moins depuis le 20 juillet 1992 (cf. lettre de l'étude N._ du 20 juillet 1992 à l'attention de la Caisse cantonale neuchâteloise de compensation). Selon la jurisprudence, les communications que les autorités administratives et judiciaires destinent aux parties qu'elles savent représentées par un mandataire doivent être adressées à celui-ci. Il s'agit là d'un principe général du droit des assurances sociales, commandé par la sécurité du droit, qui établit une règle claire quant à la notification déterminante pour le calcul du délai de recours (cf. DTA 2002 n°9 p. 66 consid. 2; RAMA 1997 n° U 288, p. 442 consid. 2b). Aussi, doit-on retenir, à l'instar des premiers juges, que la notification directement au recourant de la décision de suppression de prestations de l'assurance-invalidité du 4 février 1993 est irrégulière.
4. En l'occurrence, l'administration savait le recourant assisté par un avocat, à tout le moins depuis le 20 juillet 1992 (cf. lettre de l'étude N._ du 20 juillet 1992 à l'attention de la Caisse cantonale neuchâteloise de compensation). Selon la jurisprudence, les communications que les autorités administratives et judiciaires destinent aux parties qu'elles savent représentées par un mandataire doivent être adressées à celui-ci. Il s'agit là d'un principe général du droit des assurances sociales, commandé par la sécurité du droit, qui établit une règle claire quant à la notification déterminante pour le calcul du délai de recours (cf. DTA 2002 n°9 p. 66 consid. 2; RAMA 1997 n° U 288, p. 442 consid. 2b). Aussi, doit-on retenir, à l'instar des premiers juges, que la notification directement au recourant de la décision de suppression de prestations de l'assurance-invalidité du 4 février 1993 est irrégulière.
5. 5.1 Comme l'a rappelé à raison la juridiction cantonale, si une notification irrégulière ne peut entraîner aucun préjudice pour les parties, la décision affectée d'un tel vice n'est pas nécessairement nulle; le principe légal a bien plutôt pour effet que la protection recherchée est déjà réalisée lorsqu'une notification objectivement irrégulière atteint son but malgré cette irrégularité; c'est pourquoi il faut, d'après les circonstances concrètes du cas d'espèce, examiner si la partie intéressée a réellement été induite en erreur par l'irrégularité de la notification et a, de ce fait, subi un préjudice. A cet égard, il y a lieu de s'en tenir aux règles de la bonne foi, qui imposent une limite à l'invocation d'un vice de forme (<ref-ruling> consid. 4c et les références; RCC 1989 p. 192 consid. 2a et les références). Ainsi, l'intéressé doit agir dans un délai raisonnable dès qu'il a connaissance, de quelque manière que ce soit, de la décision qu'il entend contester (<ref-ruling> consid. 3a/aa, 111 V 150 consid. 4c et les références; RAMA 1997 n° U 288 p. 444 s. consid. 2b/bb; ZBl 95/1994 p. 530 consid. 2; Jean-François Egli, La protection de la bonne foi dans le procès, in : Juridiction constitutionnelle et juridiction administrative, Zürich 1992, p. 231 s.).
5.2 De la lettre du recourant du 18 octobre 1999, il ressort que ce dernier savait qu'il ne bénéficiait plus des prestations de l'assurance-invalidité depuis longtemps déjà, puisqu'il indiquait n'avoir pas perçu de rente depuis plus de 7 ans. En outre, il n'ignorait pas que son droit à la rente faisait l'objet d'une révision d'office entreprise en avril 1990. Deux ans après l'ouverture de cette procédure, il devait se douter qu'une décision était imminente. Dans ces circonstances, on pouvait attendre de lui, à l'instar de toute personne placée dans une situation identique et dans les mêmes circonstances, qu'il interroge l'administration sur les motifs à l'origine de la cessation du versement de la rente. Il ne pouvait dès lors sans autre en conclure, comme il l'allègue, que son droit à la rente avait uniquement été suspendu en raison de son incarcération survenue en septembre 1992, d'autant qu'il a perçu encore des rentes d'invalidité pour les mois d'octobre et novembre 1992 (cf. décompte de restitution du 4 février 1993).
Cela étant, on doit admettre avec les premiers juges, qu'en contestant par lettre du 20 avril 2004 la décision du 4 février 1993 dont il avait par ailleurs reçu copie le 28 janvier 2004, le recourant a agi tardivement.
Cela étant, on doit admettre avec les premiers juges, qu'en contestant par lettre du 20 avril 2004 la décision du 4 février 1993 dont il avait par ailleurs reçu copie le 28 janvier 2004, le recourant a agi tardivement.
6. Par ailleurs, ce dernier n'a fait valoir aucun fait nouveau important ou de nouveaux moyens de preuve susceptibles de conduire à une appréciation juridique différente de son cas, si bien que l'administration pouvait renoncer à réexaminer sa décision du 4 février 1993. En outre, comme l'expose de manière pertinente l'instance précédente, l'office AI n'est pas entré en matière sur une reconsidération de la décision du 4 février 1993. Pas plus que la juridiction cantonale, la Cour de céans ne peut l'y contraindre (cf. <ref-ruling> consid. 1b/cc, 117 V 12 consid. 2a).
6. Par ailleurs, ce dernier n'a fait valoir aucun fait nouveau important ou de nouveaux moyens de preuve susceptibles de conduire à une appréciation juridique différente de son cas, si bien que l'administration pouvait renoncer à réexaminer sa décision du 4 février 1993. En outre, comme l'expose de manière pertinente l'instance précédente, l'office AI n'est pas entré en matière sur une reconsidération de la décision du 4 février 1993. Pas plus que la juridiction cantonale, la Cour de céans ne peut l'y contraindre (cf. <ref-ruling> consid. 1b/cc, 117 V 12 consid. 2a).
7. Selon la loi (art. 152 OJ) et la jurisprudence, les conditions d'octroi de l'assistance judiciaire gratuite sont en principe remplies si les conclusions ne paraissent pas vouées à l'échec, si le requérant est dans le besoin et si l'assistance d'un avocat est nécessaire ou du moins indiquée (<ref-ruling> consid. 4a, 372 consid. 5b et les références). La jurisprudence considère que les conclusions paraissent vouées à l'échec lorsqu'une partie, disposant des moyens nécessaires, ne prendrait pas le risque, après mûre réflexion, d'engager un procès ou de le continuer (<ref-ruling> consid. 2.5.3, 125 II 275 consid. 4b, 124 I 306 consid. 2c et la référence).
En l'occurrence, la solution du litige ressortait à satisfaction du jugement attaqué. Quant aux moyens soulevés devant la Cour de céans, ils sont dépourvus de pertinence. Il s'ensuit que le recours était voué à l'échec, si bien que les conditions d'octroi de l'assistance judiciaire pour la procédure fédérale ne sont pas réalisées.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. La demande d'assistance judiciaire est rejetée.
3. La demande d'assistance judiciaire est rejetée.
4. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 7 septembre 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IIIe Chambre: Le Greffier: