Faits:
Faits:
A. A.a P._, née le 12 septembre 1950, est titulaire d'un certificat fédéral de capacité de vendeuse. Occupée à des travaux d'horlogerie, elle a travaillé du 10 décembre 1990 au 30 novembre 1995 en qualité de contrôleuse au service de la fabrique d'ébauches T._ SA. Le 27 décembre 1995, elle a présenté une demande de prestations de l'assurance-invalidité, en requérant un reclassement dans une nouvelle profession, voire l'octroi d'une rente d'invalidité.
Après instruction du point de vue médical et administratif, l'Office cantonal AI du Valais, considérant que P._ présentait une invalidité de 100 % depuis le 26 avril 1996 et de 26 % dès le mois de décembre 1996, a alloué à l'assurée une rente entière d'invalidité du 1er avril 1996 au 31 mars 1997 (décision du 20 février 1998).
A.b Le 26 octobre 1999, P._ a présenté une nouvelle demande de prestations de l'assurance-invalidité, en requérant l'allocation d'une rente d'invalidité.
Dans un rapport médical du 22 novembre 1999, le docteur R._, médecin traitant de l'assurée, a posé le diagnostic de fibromyalgie, état anxio-dépressif, syndrome cervical chronique sur cervicarthrose C4-C5-C6 et canal cervical étroit connu depuis 1991, et épigastralgies chroniques (AINS). Il faisait état d'une aggravation de toute la symptomatologie depuis le début 1999. La patiente présentait une incapacité de travail qui était toujours de 100 %.
L'office AI a confié une expertise pluridisciplinaire au docteur G._, directeur médical de la Clinique O._. Le 19 décembre 2001, P._ a été examinée par le docteur M._, spécialiste FMH en psychiatrie et psychothérapie. Dans un rapport du 15 janvier 2002, ce médecin a retenu le diagnostic de syndrome somatoforme douloureux persistant (F45.4), sans comorbidité psychiatrique significative. Tenant compte notamment de ce rapport, le docteur G._, dans une expertise du 26 février 2002, a retenu les diagnostics pouvant influencer la capacité de travail suivants : trouble somatoforme douloureux persistant, cervicalgies sur arthrose C3 à C6 avec canal cervical étroit (depuis 1991), lombalgies sur arthrose L4 à S1 et neuropathie cubitale subaiguë du coude des deux côtés avec transposition antérieure du nerf cubital au coude droit le 25 septembre 2000. Il indiquait que tant sous l'angle psychique que somatique, la patiente présentait une limitation de sa capacité de travail qu'il estimait à 100 % pour les travaux lourds, à 35 % pour l'activité lourde du ménage et à 30 % pour une activité physique légère adaptée.
Le 11 mars 2002, l'office AI a informé P._ qu'elle était apte à exercer à 70 % toute activité légère et adaptée, sans le port de charges lourdes ni une importante sollicitation des vertèbres cervicales. Il résultait de la comparaison des revenus une invalidité de 36 %, taux ne donnant pas droit à une rente d'invalidité.
Pour ces motifs, l'office AI, par décision du 2 avril 2002, a rejeté la demande.
A.c Le 6 mai 2002, P._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du canton du Valais, en concluant à l'annulation de celle-ci et à l'allocation d'une demi-rente d'invalidité. A titre subsidiaire, elle demandait la mise en oeuvre d'une nouvelle expertise médicale.
Le 10 septembre 2002, l'office AI a reçu une nouvelle demande de P._, datée du 9 septembre 2002, où elle invoquait une aggravation de son état de santé. Celle-ci produisait une lettre du 3 septembre 2002 du docteur V._, spécialiste FMH en médecine interne et spécialiste en maladies rhumatismales, dans laquelle ce praticien, qui est le médecin traitant de l'assurée, proposait qu'on réévalue la situation et que l'on demande à nouveau un bilan neuro-psychologique et psychiatrique.
P._ a produit le 29 juillet 2003 une expertise du 26 juillet 2003 effectuée à sa requête par le docteur E._, spécialiste FMH en médecine interne, selon laquelle son incapacité de travail est actuellement totale. Se référant à l'évaluation de la doctoresse I._, spécialiste FMH en psychiatrie, consignée dans un rapport du 1er juillet 2003, il était d'avis que l'incapacité de travail était due aux conséquences du trouble dépressif récurrent diagnostiqué par ce médecin et à sa sévérité actuelle.
Par jugement du 30 septembre 2003, la juridiction cantonale a rejeté le recours contre la décision du 2 avril 2002, tout en renvoyant le dossier à l'office AI pour qu'il procède dans le sens des considérants. Elle a considéré que dans la mesure où les rapports de la doctoresse I._, du docteur E._ et du docteur V._ paraissaient faire état d'une péjoration de l'état de santé de l'assurée, ils pouvaient être tenus pour une demande explicite de révision et qu'il appartenait à l'office AI de statuer dans ce sens. Ce jugement est entré en force.
L'office AI, par décision du 24 novembre 2003, a refusé d'entrer en matière sur la demande du 10 septembre 2002. Il était d'avis que du point de vue psychiatrique, la comparaison entre l'expertise de la Clinique O._ du 26 février 2002 et celle du docteur E._ du 26 juillet 2003 (y compris le rapport de la doctoresse I._) permettait de nier qu'une véritable aggravation de l'état de santé soit plausible, mais qu'il s'agissait plutôt d'une appréciation différente d'une même situation. P._ a formé opposition contre celle-ci. Par décision du 12 février 2004, l'office AI a rejeté l'opposition.
L'office AI, par décision du 24 novembre 2003, a refusé d'entrer en matière sur la demande du 10 septembre 2002. Il était d'avis que du point de vue psychiatrique, la comparaison entre l'expertise de la Clinique O._ du 26 février 2002 et celle du docteur E._ du 26 juillet 2003 (y compris le rapport de la doctoresse I._) permettait de nier qu'une véritable aggravation de l'état de santé soit plausible, mais qu'il s'agissait plutôt d'une appréciation différente d'une même situation. P._ a formé opposition contre celle-ci. Par décision du 12 février 2004, l'office AI a rejeté l'opposition.
B. P._ a formé recours contre cette décision devant le Tribunal cantonal des assurances du canton du Valais, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci. Elle demandait à être mise au bénéfice d'une rente entière d'invalidité. Le 1er avril 2004, elle a produit un rapport du docteur V._ du 29 mars 2004, selon lequel la situation s'était nettement aggravée depuis l'expertise de la Clinique O._ du 26 février 2002. Ce médecin proposait que l'assurance-invalidité organise en urgence une nouvelle évaluation psychiatrique.
Par jugement du 4 mai 2004, la juridiction cantonale a annulé la décision du 12 février 2004, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la nouvelle demande et statue sur le fond dans une nouvelle décision.
Par jugement du 4 mai 2004, la juridiction cantonale a annulé la décision du 12 février 2004, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la nouvelle demande et statue sur le fond dans une nouvelle décision.
C. L'Office cantonal AI du Valais interjette recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci.
P._ conclut, sous suite de frais et dépens, au rejet du recours. Dans son préavis, l'Office fédéral des assurances sociales propose l'admission du recours.

Considérant en droit:
Considérant en droit:
1. La décision administrative litigieuse du 12 février 2004 confirme le refus par le recourant d'entrer en matière sur la demande de prestations présentée par l'intimée le 10 septembre 2002, au motif qu'elle ne satisfait pas aux exigences de l'art. 87 al. 3 et 4 RAI.
Le litige porte sur le point de savoir si ces exigences sont applicables dans le cas particulier, ce que nient les premiers juges, contrairement à l'avis du recourant et de l'OFAS.
Le litige porte sur le point de savoir si ces exigences sont applicables dans le cas particulier, ce que nient les premiers juges, contrairement à l'avis du recourant et de l'OFAS.
2. Lorsque la rente ou l'allocation pour impotent a été refusée parce que le degré d'invalidité était insuffisant ou parce qu'il n'y avait pas d'impotence, la nouvelle demande ne peut être examinée que si l'assuré rend plausible que son invalidité ou son impotence s'est modifiée de manière à influencer ses droits (art. 87 al. 3 [teneur en vigueur jusqu'au 29 février 2004] et 4 RAI). Cette exigence doit permettre à l'administration qui a précédemment rendu une décision de refus de prestations entrée en force, d'écarter sans plus ample examen de nouvelles demandes dans lesquelles l'assuré se borne à répéter les mêmes arguments, sans alléguer une modification des faits déterminants (<ref-ruling> consid. 5.2.3, 117 V 200 consid. 4b et les références).
2. Lorsque la rente ou l'allocation pour impotent a été refusée parce que le degré d'invalidité était insuffisant ou parce qu'il n'y avait pas d'impotence, la nouvelle demande ne peut être examinée que si l'assuré rend plausible que son invalidité ou son impotence s'est modifiée de manière à influencer ses droits (art. 87 al. 3 [teneur en vigueur jusqu'au 29 février 2004] et 4 RAI). Cette exigence doit permettre à l'administration qui a précédemment rendu une décision de refus de prestations entrée en force, d'écarter sans plus ample examen de nouvelles demandes dans lesquelles l'assuré se borne à répéter les mêmes arguments, sans alléguer une modification des faits déterminants (<ref-ruling> consid. 5.2.3, 117 V 200 consid. 4b et les références).
3. 3.1 Selon les premiers juges, l'office AI, quelle que soit l'issue de l'examen auquel il était invité à procéder à la suite du jugement du 30 septembre 2003, aurait dû entrer en matière sur la nouvelle demande et statuer sur le fond puisqu'il était confronté à une nouvelle requête consécutive à l'octroi de prestations limitées dans le temps.
3.2 La jurisprudence relative à la nouvelle demande selon l'art. 87 al. 3 et 4 RAI concerne toujours des cas dans lesquels des prestations ont été refusées par le passé. En revanche, elle n'est pas applicable lorsqu'une prestation a été précédemment allouée, mais pour une période limitée (<ref-ruling>; voir aussi <ref-ruling> consid. 1b).
3.3 Contrairement à ce qu'indique le jugement attaqué, la nouvelle demande de prestations, sur laquelle le recourant a refusé d'entrer en matière, n'est pas consécutive à l'octroi de la rente entière d'invalidité dont a bénéficié l'intimée du 1er avril 1996 au 31 mars 1997.
Ainsi que le relève avec raison l'OFAS dans son préavis, cette demande a été présentée par l'assurée à la suite de la décision de refus de rente du 2 avril 2002. Dans cette décision, le recourant est entré en matière sur la demande de prestations de l'assurance-invalidité présentée par l'intimée le 26 octobre 1999, mais l'a rejetée.
Les précisions apportées par l'<ref-ruling> n'entrent donc pas ici en considération. En effet, la demande de prestations du 10 septembre 2002 fait suite à la décision de refus de rente du 2 avril 2002 et non à celle du 20 février 1998 octroyant une rente d'invalidité du 1er avril 1996 au 31 mars 1997. Les exigences sur la nouvelle demande selon l'art. 87 al. 3 et 4 RAI sont dès lors applicables.
Les précisions apportées par l'<ref-ruling> n'entrent donc pas ici en considération. En effet, la demande de prestations du 10 septembre 2002 fait suite à la décision de refus de rente du 2 avril 2002 et non à celle du 20 février 1998 octroyant une rente d'invalidité du 1er avril 1996 au 31 mars 1997. Les exigences sur la nouvelle demande selon l'art. 87 al. 3 et 4 RAI sont dès lors applicables.
4. Reste à examiner si la demande de prestations du 10 septembre 2002 satisfaisait aux exigences posées quant au caractère plausible d'une modification déterminante des faits (art. 87 al. 3 et 4 RAI), ce que le recourant a nié dans sa décision de non entrée en matière.
4.1 Lors de l'appréciation du caractère plausible d'une modification déterminante des faits influant sur le droit aux prestations, on compare les faits tels qu'ils se présentaient au moment de la décision administrative litigieuse et les circonstances prévalant à l'époque de la dernière décision d'octroi ou de refus des prestations (<ref-ruling> consid. 2, et 77 consid. 3.2.3 relatif à l'étendue de l'analogie entre la révision de la rente et la nouvelle demande par rapport aux bases de comparaison dans le temps).
Il convient de comparer les faits tels qu'ils se présentaient au moment de la décision du 12 février 2004 confirmant le refus de l'office AI d'entrer en matière sur la demande du 10 septembre 2002 et les circonstances existant à l'époque de la décision du 2 avril 2002 par laquelle il a refusé d'allouer une rente d'invalidité, refus confirmé par le Tribunal cantonal des assurances dans son jugement du 30 septembre 2003 entré en force.
L'exigence sur le caractère plausible de la nouvelle demande selon l'<ref-law> ne renvoie pas à la notion de vraisemblance prépondérante usuelle en droit des assurances sociales. Les exigences de preuves sont, au contraire, sensiblement réduites en ce sens que la conviction de l'autorité administrative n'a pas besoin d'être fondée sur la preuve pleinement rapportée qu'une modification déterminante est survenue depuis le moment auquel la décision refusant les prestations a été rendue. Des indices d'une telle modification suffisent lors même que la possibilité subsiste qu'une instruction plus poussée ne permettra pas de l'établir (Damien Vallat, La nouvelle demande de prestations AI et les autres voies permettant la modification de décisions en force, RSAS 2003, p. 396 ch. 5.1 et la référence sous note n° 27).
4.2 Dans son appréciation, le recourant a tenu compte non seulement de la lettre du docteur V._ du 3 septembre 2002, mais également du rapport de la doctoresse I._ du 1er juillet 2003 et de l'expertise du docteur E._ du 26 juillet 2003 produits par l'intimée.
En substance, l'office AI considère qu'on ne trouve pas exposées dans la lettre du docteur V._ ni dans les rapports des docteurs E._ et I._ une modification des circonstances médicales de l'intimée propres à influencer le droit de celle-ci à des prestations par rapport à la situation qui prévalait au mois d'avril 2002.
L'intimée a présenté sa nouvelle demande le 10 septembre 2002, soit près de cinq mois après la décision du 2 avril 2002 refusant de lui allouer une rente d'invalidité. L'office AI était donc en droit de se montrer d'autant plus exigeant pour apprécier le caractère plausible de ses allégations que le laps de temps qui s'était écoulé depuis sa décision antérieure était bref (<ref-ruling> consid. 2b; voir aussi <ref-ruling> consid. 6.2).
L'intimée a présenté sa nouvelle demande le 10 septembre 2002, soit près de cinq mois après la décision du 2 avril 2002 refusant de lui allouer une rente d'invalidité. L'office AI était donc en droit de se montrer d'autant plus exigeant pour apprécier le caractère plausible de ses allégations que le laps de temps qui s'était écoulé depuis sa décision antérieure était bref (<ref-ruling> consid. 2b; voir aussi <ref-ruling> consid. 6.2).
4.3 4.3.1 Lorsqu'elle a présenté sa nouvelle demande, l'intimée a produit une lettre du docteur V._ du 3 septembre 2002. Du point de vue somatique, ce praticien n'avait rien à ajouter à l'expertise du docteur G_ du 26 février 2002. Sur le plan psychique, en revanche, il était probable que la situation s'était dégradée depuis la décision de refus de rente. Proposant que l'on demande à nouveau un bilan neuropsychologique et psychiatrique, le docteur V._ indiquait que l'incapacité de travail actuelle était de 100 %, ceci surtout à cause de la comorbidité psychiatrique qui s'était aggravée ces derniers mois.
La lettre du docteur V._ du 3 septembre 2002 ne répond pas à toutes les exigences permettant de reconnaître pleine valeur probante à un rapport médical (<ref-ruling> consid. 3a, 122 V 160 consid. 1c et les références; VSI 2001 p. 108 consid. 3a). Ainsi que l'indique ce praticien, il s'agit d'un compte rendu sur l'état de santé actuel de la patiente, établi après qu'il eut pris connaissance des divers documents (expertise médicale du docteur G._, projet de décision de l'assurance-invalidité). Les considérations médicales du médecin traitant portent essentiellement sur les plaintes de l'assurée, son sentiment d'abandon et d'être persécutée, mais n'expliquent pas en quoi il y aurait aggravation de la comorbidité psychiatrique par rapport à l'examen du docteur M._ du 15 janvier 2002.
4.3.2 En revanche, le rapport de la doctoresse I._ du 1er juillet 2003 et l'expertise du docteur E._ du 26 juillet 2003 rendent plausible une possible aggravation de l'état de santé de l'intimée entre la décision de refus de rente du 2 avril 2002 et la décision de non entrée en matière du 12 février 2004, aggravation susceptible d'influer sur le droit aux prestations.
En effet, la doctoresse I._ a examiné l'assurée lors de consultations des 14 mars et 16 mai 2003. Cette spécialiste en psychiatrie a posé le diagnostic de trouble dépressif récurrent, épisode actuel sévère sans symptômes psychotiques, et de personnalité à traits paranoïaques et dépendants. Elle indique que la patiente est malade chroniquement depuis de nombreuses années, que l'état maladif global a continué de manière inexorable à évoluer, malgré les traitements bien conduits aussi bien du point de vue physique que psychique, et qu'elle présente une incapacité totale de travail, sans aucun espoir de réinsertion dans la vie professionnelle.
Dans son rapport du 1er juillet 2003, la doctoresse I._ indique, sous la rubrique relative à la discussion du cas, que le diagnostic de trouble somatoforme douloureux étant incompatible avec celui de trouble dépressif, il ne figure pas dans la liste des diagnostics qu'elle a retenus.
Pour autant, cela ne signifie pas encore que l'évaluation psychiatrique de la doctoresse I._ est une appréciation différente, par rapport à celle du docteur M._, d'une situation qui en soi serait restée la même. En effet, entre l'examen du docteur M._ du 19 décembre 2001 et ceux de la doctoresse I._ des 14 mars et 16 mai 2003, plus de quinze mois se sont écoulés. Or, comme le relève le docteur E._ dans son expertise du 26 juillet 2003, le bilan médical met en évidence l'existence d'un trouble dépressif actuellement sévère, le manque d'élan vital, la fatigue, les ruminations, le manque d'estime de soi empêchant complètement la patiente de s'investir dans un projet professionnel et d'envisager la reprise d'une activité lucrative, quel que soit le type de travail.
L'ensemble de ces faits qui ne sont pas évoqués par le docteur M._ dans son rapport de janvier 2002, sont suffisants pour admettre que l'intimée a rendu plausible une modification susceptible d'influer sur le droit aux prestations.
L'ensemble de ces faits qui ne sont pas évoqués par le docteur M._ dans son rapport de janvier 2002, sont suffisants pour admettre que l'intimée a rendu plausible une modification susceptible d'influer sur le droit aux prestations.
5. Sur le vu de ce qui précède (cf. consid. 3 et 4), il y a lieu, par substitution de motifs, de confirmer le jugement attaqué en ce sens que la décision administrative litigieuse du 12 février 2004 est annulée, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la demande du 10 septembre 2002.
5. Sur le vu de ce qui précède (cf. consid. 3 et 4), il y a lieu, par substitution de motifs, de confirmer le jugement attaqué en ce sens que la décision administrative litigieuse du 12 février 2004 est annulée, la cause étant renvoyée à l'office AI pour qu'il entre en matière sur la demande du 10 septembre 2002.
6. La procédure est gratuite (art. 134 OJ). Sur le vu de l'issue du litige, l'intimée, qui est représentée par un avocat, a droit à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté au sens des considérants.
1. Le recours est rejeté au sens des considérants.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'Office cantonal AI du Valais versera à l'intimée la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
3. L'Office cantonal AI du Valais versera à l'intimée la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 7 décembre 2004
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: Le Greffier: