Faits:
Faits:
A. A.a P._, né le 20 août 1943, a présenté le 6 mars 1997 une demande de prestations de l'assurance-invalidité.
Dans un prononcé de rente du 10 octobre 1997, l'Office cantonal AI du Valais a avisé la Caisse de compensation du canton du Valais qu'elle avait fixé à 80 % l'invalidité de l'assuré dès le 17 mai 1996. La caisse a procédé au rassemblement des comptes individuels de P._. Etant donné que celui-ci présentait des lacunes de cotisations en 1993, 1994 et 1995, le revenu minimum de 3'564 fr. par année pour une personne sans activité lucrative a été provisoirement pris en compte dans le calcul de la rente, en attendant le résultat de l'enquête mise en oeuvre. Par décision du 15 janvier 1998, l'office AI a alloué à l'assuré dès le 1er mai 1996 une rente entière d'invalidité d'un montant mensuel de 1'785 fr. jusqu'au 31 décembre 1996 et de 1'831 fr. à partir du 1er janvier 1997, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 535 fr. jusqu'au 31 décembre 1996 et de 549 fr. à partir du 1er janvier 1997. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 59'700 fr., une durée de cotisations de 32 années et se fondait sur l'échelle (complète) de rente 44.
Le 21 août 1998, un compte individuel complémentaire concernant P._ a été porté dans le fichier de calcul des rentes, où était inscrit un revenu d'indépendant de 12'000 fr. pour la période de septembre à décembre 1994 et de 36'000 fr. pour la période de janvier à décembre 1995. Vu que les cotisations personnelles dues par celui-ci pour l'ensemble de ces périodes faisaient l'objet d'un encaissement par voie de poursuite (situation de compte au 6 juillet 1999), la caisse a attendu que l'arriéré de cotisations soit entièrement payé le 30 avril 2002, pour transmettre à l'office AI le compte individuel complémentaire.
Le 8 mai 2002, l'office AI a rendu une nouvelle décision de rente en lieu et place de celle du 15 janvier 1998, dans laquelle il informait P._ qu'il avait pris en compte dans le calcul de la rente les revenus de celui-ci qui n'avaient pas encore été comptabilisés pour les années 1994 et 1995. Par cette décision, il lui a alloué à partir du 1er mai 1996 une rente entière d'invalidité d'un montant mensuel de 1'816 fr. dès le 1er mai 1996, 1'863 fr. dès le 1er janvier 1997, 1'881 fr. dès le 1er janvier 1999 et 1'928 fr. dès le 1er janvier 2001, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 545 fr. dès le 1er mai 1996, 559 fr. dès le 1er janvier 1997, 564 fr. dès le 1er janvier 1999 et 578 fr. dès le 1er janvier 2001. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 64'272 fr., une durée de cotisations de 31 années et 8 mois et se fondait sur l'échelle de rente 44.
A.b Le 12 septembre 2002, la Caisse cantonale genevoise de compensation a transmis à la Caisse de compensation du canton du Valais le compte individuel de P._, en l'avisant qu'elle avait comptabilisé les revenus d'indépendant inscrits entre 1987 et 1990 comme des revenus négatifs, étant donné que les cotisations correspondantes n'avaient jamais été payées, suite à la faillite de l'entreprise de celui-ci. Le même jour, la seconde caisse a établi un compte individuel complémentaire, en procédant à l'inscription de ces revenus négatifs.
Par décision du 29 octobre 2002, l'office AI a avisé P._ qu'ayant procédé à la prise en compte des revenus négatifs pour les années 1987 à 1990 jusque-là non comptabilisés, il avait réexaminé son dossier à partir du 1er octobre 1997. Dès cette date, il lui allouait une rente entière d'invalidité d'un montant mensuel de 1'691 fr. jusqu'au 31 décembre 1998, 1'708 fr. jusqu'au 31 décembre 2000 et 1'751 fr. dès le 1er janvier 2001, assortie d'une rente complémentaire pour son épouse d'un montant mensuel de 507 fr. jusqu'au 31 décembre 1998, 512 fr. jusqu'au 31 décembre 2000 et 525 fr. dès le 1er janvier 2001. Le calcul de la rente prenait en considération un revenu annuel moyen déterminant de 71'688 fr., une durée de cotisations de 27 années et 9 mois et se fondait sur l'échelle de rente 38.
Par une autre décision rendue également le 29 octobre 2002, l'office AI a réclamé à P._ la restitution de la somme de 13'820 fr., montant correspondant à la différence entre les rentes déjà perçues entre le 1er octobre 1997 et le 31 octobre 2002 - soit 150'142 fr. - et les rentes effectivement dues pendant la même période - soit 136'322 fr.
Par une autre décision rendue également le 29 octobre 2002, l'office AI a réclamé à P._ la restitution de la somme de 13'820 fr., montant correspondant à la différence entre les rentes déjà perçues entre le 1er octobre 1997 et le 31 octobre 2002 - soit 150'142 fr. - et les rentes effectivement dues pendant la même période - soit 136'322 fr.
B. Par jugement du 22 mars 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par P._ contre ces deux décisions.
B. Par jugement du 22 mars 2004, le Tribunal cantonal des assurances du canton du Valais a rejeté le recours formé par P._ contre ces deux décisions.
C. Dans un mémoire du 24 avril 2004, P._ interjette recours de droit administratif contre ce jugement, en demandant que la situation soit rétablie conformément à la décision de rente du 8 mai 2002. Il est d'avis que cette décision continue d'être en vigueur, motif pris que les offices AI des cantons de Genève et du Valais avaient le temps pour examiner sa situation dès le début et que la caisse avait l'obligation de contrôler soigneusement les comptes lors de la décision initiale de rente, ce qui n'a visiblement pas été le cas, ni lors des deuxième et troisième révisions de son droit à la rente. Il invoque la péremption du droit de demander la restitution du montant indûment touché, étant donné que ce n'est qu'en date du 29 octobre 2002 qu'il aurait été informé d'un nouveau changement et « d'autres erreurs de calculs qui seraient dues aux mauvais enregistrements à Genève mais qui datent de 14 ans en arrière ».
Par lettre du 5 juillet 2004, P._ a produit copie de trois documents supplémentaires, dont deux décisions de rente de vieillesse du 4 juin 2004 qui concernent son épouse et lui-même.
La Caisse cantonale valaisanne de compensation et l'Office cantonal AI du Valais concluent au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. 1.1 Selon la jurisprudence (<ref-ruling>), on ne peut produire de pièces nouvelles après l'échéance du délai de recours, sauf dans le cadre d'un deuxième échange d'écritures. Il convient toutefois de réserver le cas où de telles pièces constituent des faits nouveaux importants ou des preuves concluantes au sens de l'art. 137 let. b OJ et pourraient dès lors justifier la révision de l'arrêt du tribunal.
1.2 Il n'y a pas lieu de prendre en considération l'écriture du recourant du 5 juillet 2004 et les pièces déposées en annexes, l'ensemble de ces documents ayant été produits après l'échéance du délai de recours et ne répondant pas aux conditions prévues par la jurisprudence pour être cependant retenus.
1.2 Il n'y a pas lieu de prendre en considération l'écriture du recourant du 5 juillet 2004 et les pièces déposées en annexes, l'ensemble de ces documents ayant été produits après l'échéance du délai de recours et ne répondant pas aux conditions prévues par la jurisprudence pour être cependant retenus.
2. Demandant que la situation soit rétablie conformément à la décision de rente du 8 mai 2002, le recourant conteste ainsi le principe même de la réduction avec effet rétroactif du montant de sa rente d'invalidité et de la rente complémentaire pour son épouse.
2. Demandant que la situation soit rétablie conformément à la décision de rente du 8 mai 2002, le recourant conteste ainsi le principe même de la réduction avec effet rétroactif du montant de sa rente d'invalidité et de la rente complémentaire pour son épouse.
3. La loi fédérale sur la partie générale des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur le 1er janvier 2003, n'est pas applicable en l'espèce, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits, le juge des assurances sociales se fondant sur l'état de fait réalisé à la date déterminante des décisions litigieuses du 29 octobre 2002 (<ref-ruling> s.consid. 1.1, 129 V 4 consid. 1.2 et les références).
3. La loi fédérale sur la partie générale des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur le 1er janvier 2003, n'est pas applicable en l'espèce, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits, le juge des assurances sociales se fondant sur l'état de fait réalisé à la date déterminante des décisions litigieuses du 29 octobre 2002 (<ref-ruling> s.consid. 1.1, 129 V 4 consid. 1.2 et les références).
4. 4.1 L'art. 47 LAVS, qui a été abrogé par le ch. 7 de l'annexe à la LPGA, est resté en vigueur jusqu'au 31 décembre 2002. Selon l'art. 47 al. 1 première phrase LAVS, les rentes et allocations pour impotents indûment touchées doivent être restituées. Aux termes de l'art. 49 LAI (en vigueur également jusqu'au 31 décembre 2002), l'art. 47 LAVS est applicable par analogie à la restitution de prestations indûment touchées.
Selon la jurisprudence, la répétition de prestations en espèces indûment touchées de l'AVS et de l'assurance-invalidité (art. 47 al. 1 LAVS et art. 49 LAI) est admissible aux conditions qui président à la révocation, par son auteur, d'une décision administrative (cf. <ref-ruling> consid. 2c). En principe, l'adaptation des prestations a lieu avec effet rétroactif (ex tunc). L'assurance-invalidité connaît une réglementation différente lorsque la modification de la prestation d'assurance a lieu parce que se posent des questions spécifiques au droit de l'assurance-invalidité. Dans ces cas, la modification de la prestation d'assurance intervient en principe avec effet ex nunc et pro futuro (art. 85 al. 2 RAI), sauf en cas de violation de l'obligation de renseigner (art. 77 RAI); dans ce dernier cas, la modification de la prestation d'assurance a un effet rétroactif (art. 85 al. 2 et 88bis al. 2 let. b RAI). Pour déterminer si la réduction ou la suppression a un effet rétroactif ou non, il faut donc examiner si l'erreur concerne un état de fait propre au domaine de l'AVS ou si elle porte sur des facteurs régis spécifiquement par le droit de l'assurance-invalidité. A ce propos, la jurisprudence a par exemple considéré que le défaut de la qualité d'assuré ou l'erreur dans le calcul de la rente sont des questions analogues à celles qui se posent en droit de l'AVS, tandis que l'évaluation du degré d'invalidité ou la nécessité et le caractère adéquat de mesures médicales relèvent du domaine spécifique au droit de l'assurance-invalidité (<ref-ruling> consid. 2, 110 V 300-301 consid. 2a et les références; SVR 1995 IV n° 58 p. 166-167 consid. 5a).
4.2 Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 2c et les arrêts cités).
En outre, par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 2c et les références).
4.3 Les premiers juges ont retenu que l'office intimé se devait de reconsidérer la décision initiale de rente, manifestement erronée puisque reposant sur des bases inexactes, dont la rectification présentait une importance considérable, ce qui est d'ordinaire le cas lorsqu'il s'agit de rentes (RCC 1987 p. 38 consid. 1b).
4.4 Dans le cas d'espèce, les conditions d'une révision procédurale ne sont manifestement pas remplies. En effet, la découverte de l'erreur de calcul de la rente d'invalidité n'est pas due à un fait nouveau découvert après coup. Elle a eu lieu en septembre 2002, après que la Caisse cantonale genevoise de compensation eut transmis à la Caisse de compensation du canton du Valais le compte individuel du recourant, en l'avisant qu'elle avait comptabilisé les revenus d'indépendant inscrits entre 1987 et 1990 comme des revenus négatifs, étant donné que les cotisations correspondantes n'avaient jamais été payées, suite à la faillite de l'entreprise de ce dernier.
Avec raison, les premiers juges ont examiné la question sous l'angle de la reconsidération. Selon la jurisprudence, un calcul de rente effectué de manière contraire à la loi doit régulièrement être considéré comme sans nul doute erroné (<ref-ruling> consid. 2b/bb, 119 V 483 consid. 3); dans ces cas-là, la seule question à résoudre est celle de savoir si la rectification revêt une importance notable. En principe, même une correction minime du montant mensuel de la rente remplit déjà cette condition (<ref-ruling>). Il en va ainsi dans le cas particulier, où le calcul de la rente dans la décision du 8 mai 2002 a été effectué de manière contraire à la loi, dans la mesure où les revenus d'indépendant inscrits sur le compte individuel du recourant entre 1987 et 1990 n'auraient pas dû intervenir dans ce calcul puisque les cotisations dues à ce titre n'ont jamais été payées. Par ailleurs, la rectification ayant pour conséquence une réduction du montant mensuel de la rente, elle revêtait une importance notable.
4.5 Les revenus d'indépendant inscrits sur le compte individuel du recourant entre 1987 et 1990 étaient de 5'930 fr. (janvier à décembre 1987), 5'930 fr. (janvier à décembre 1988), 4'940 fr. (octobre 1989), 988 fr. (novembre et décembre 1989) et 12'600 fr. (janvier à décembre 1990).
Ces revenus représentaient une somme totale de 30'388 fr. Vu qu'ils n'auraient pas dû intervenir dans le calcul de la rente d'invalidité, c'est avec raison que la Caisse de compensation du canton du Valais les a portés en déduction du total des revenus du recourant à prendre en considération, lequel est passé de 1'259'332 fr. à 1'229'029 fr. La différence de 30'303 fr. (1'259'332 fr. - 1'229'029 fr.) s'explique par le fait que dans le compte individuel complémentaire un revenu de 85 fr. a été inscrit en ce qui concerne l'année 1990 (30'388 fr. - 85 fr. = 30'303 fr.).
Les premiers juges ont vérifié le calcul de la rente. Ils ont constaté que la durée de cotisations était passée de 31 ans et 8 mois à 27 années et 9 mois. Compte tenu d'un total des revenus de 1'229'029 fr., à la somme des revenus revalorisés (1'229'029 x 1.506) correspondait - pour une durée de cotisations de 27 années et 9 mois - un revenu annuel moyen déterminant de 67'512 fr. en 1996, revalorisé à 71'688 fr. en 2001. En application de l'art. 52ter RAVS, la caisse a comblé les lacunes de cotisations résultant du compte individuel complémentaire négatif avec les revenus réalisés par l'assuré avant 20 ans (1962 et 1963) et par les quatre mois de l'année d'ouverture du droit à la rente, ce qui donnait une durée de cotisations de 28 ans et 1 mois pour déterminer l'échelle de rente applicable. Conformément à l'indicateur d'échelle 1996, celle-ci était l'échelle 38.
Il s'ensuit une réduction de la rente d'invalidité. Selon l'échelle 38, à un revenu annuel moyen déterminant de 67'512 fr. en 1996, revalorisé à 69'252 fr. en 1997 correspondait une rente mensuelle simple de 1'691 fr. et une rente complémentaire pour l'épouse de 507 fr. (tables des rentes 1997); à un revenu annuel moyen déterminant revalorisé à 69'948 fr. en 1999 correspondait une rente mensuelle simple de 1'708 fr. et une rente complémentaire pour l'épouse de 512 fr. (tables des rentes 1999, valables en 2000); à un revenu annuel moyen déterminant revalorisé à 71'688 fr. correspondait une rente mensuelle simple de 1'751 fr. et une rente complémentaire pour l'épouse de 525 fr. (tables des rentes 2001).
4.6 L'erreur dans le calcul de la rente d'invalidité est une question analogue à celle qui se pose en droit de l'AVS (<ref-ruling> consid. 2 déjà cité). La réduction de la rente d'invalidité devait donc avoir lieu avec effet rétroactif (ex tunc).
4.6 L'erreur dans le calcul de la rente d'invalidité est une question analogue à celle qui se pose en droit de l'AVS (<ref-ruling> consid. 2 déjà cité). La réduction de la rente d'invalidité devait donc avoir lieu avec effet rétroactif (ex tunc).
5. 5.1 Se référant à l'arrêt B. et V. du 30 mai 2001 (I 678/00), le recourant invoque la péremption du droit de demander la restitution.
5.2 Selon l'art. 47 al. 2 première phrase LAVS (en corrélation avec l'art. 49 LAI), le droit de demander la restitution se prescrit par une année à compter du moment où la caisse de compensation a eu connaissance du fait, mais au plus tard par cinq ans après le paiement de la rente. Les délais institués par cette disposition légale sont des délais de péremption (<ref-ruling> consid. 3a et les arrêts cités).
En ce qui concerne le point de départ du délai d'une année, lorsque la restitution est imputable à une faute de l'administration (par exemple, une erreur de calcul d'une prestation), on ne saurait considérer comme point de départ du délai le moment où la faute a été commise, mais bien celui auquel l'administration aurait dû, dans un deuxième temps (par exemple, à l'occasion d'un contrôle comptable), se rendre compte de son erreur en faisant preuve de l'attention requise. En effet, si l'on plaçait le moment de la connaissance du dommage à la date du versement indu, cela rendrait souvent illusoire la possibilité pour une administration de réclamer le remboursement de prestations versées à tort en cas de faute de sa part (<ref-ruling> consid. 1 et l'arrêt cité). Par l'expression « à compter du moment où la caisse de compensation a eu connaissance du fait », il faut comprendre le moment où l'administration aurait dû constater - en faisant preuve de toute l'attention que l'on peut exiger d'elle - que les conditions d'une restitution sont remplies. Lorsque l'examen des faits donnant lieu à restitution requiert le concours de plusieurs organes administratifs, le délai d'un an commence déjà à courir au moment où l'un des organes compétents a une connaissance suffisante de ces faits (<ref-ruling> consid. 3a déjà cité et les références). Est déterminant pour la prise de connaissance de l'inexactitude du versement de la prestation le moment auquel l'administration aurait dû raisonnablement reconnaître son erreur (arrêt B. et V. précité du 30 mai 2001).
5.3 En octobre 1997, lors du rassemblement des comptes individuels du recourant, la Caisse cantonale genevoise de compensation a transmis à la Caisse de compensation du canton du Valais le compte individuel de celui-ci où étaient inscrits les revenus d'indépendant entre 1987 et 1990 de 5'930 fr., 5'930 fr., 4'940 fr., 988 fr. et 12'600 fr. La seconde caisse a procédé au calcul de la rente d'invalidité en prenant en compte ces revenus. En réalité, les cotisations dues à ce titre n'ont jamais été payées, suite à la faillite de l'entreprise du recourant, dont la clôture a été prononcée le 22 mai 1995. Il s'ensuit que la rente d'invalidité a été calculée de manière erronée, puisque les revenus ci-dessus n'auraient pas dû être pris en compte.
On ne saurait considérer comme point de départ du délai de péremption d'une année le moment où cette faute a été commise, mais bien celui auquel l'administration aurait dû, dans un deuxième temps, se rendre compte de son erreur en faisant preuve de l'attention requise. Lorsque, en septembre 2002, le service du contentieux de la Caisse cantonale genevoise de compensation s'est occupé du dossier du recourant, il a été amené à procéder à une opération comptable consistant à extourner comme revenus négatifs les revenus d'indépendant qui avaient été inscrits sur son compte individuel entre 1987 et 1990. Le 12 septembre 2002, il a transmis celui-ci à la Caisse de compensation du canton du Valais, qui a établi le même jour un compte individuel complémentaire, en procédant à l'inscription des revenus négatifs. A partir de ce moment-là, l'administration avait une connaissance suffisante des faits donnant lieu à restitution.
Le droit de l'office intimé de demander la restitution du montant trop élevé des rentes d'invalidité versées entre le 1er octobre 1997 et le 31 octobre 2002 n'était pas encore atteint par la péremption (art. 47 al. 2 LAVS en corrélation avec l'art. 49 LAI) lorsqu'il a rendu ses décisions du 29 octobre 2002.
S'agissant de la somme réclamée de 13'820 fr., le montant comme tel n'est pas remis en cause par le recourant et il n'y a au demeurant pas de motif de le discuter ici.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances, à la Caisse de compensation du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 9 février 2005
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: Le Greffier: