Faits:
Faits:
A. Le 24 mai 2004, R._ a ouvert action devant le Tribunal cantonal des assurances du canton du Valais contre la Caisse de Retraite et de Prévoyance du Personnel Enseignant du Canton du Valais (CRPE), en demandant qu'ordre soit donné aux organes de la caisse de lui verser une rente mensuelle de 6'244 fr., avec effet au 1er avril 2004. Simultanément, il présentait une requête de mesures provisionnelles visant au paiement immédiat de la rente mensuelle de 6'244 fr.
Le 28 juillet 2004, la CRPE s'est déterminée sur la requête de mesures provisionnelles. Dans un mémoire séparé daté du même jour, elle a déposé sa réponse. Elle invoquait la compensation avec une prétention en dommage-intérêts à l'encontre de l'assuré.
Par décision du 10 septembre 2004, la juridiction cantonale a rejeté la requête de mesures provisionnelles.
Par décision du 10 septembre 2004, la juridiction cantonale a rejeté la requête de mesures provisionnelles.
B. R._ interjette recours de droit administratif contre cette décision, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci.
Dans sa réponse du 2 novembre 2004, la CRPE conclut, sous suite de frais et dépens, au rejet du recours pour autant qu'il soit recevable. De son côté, l'Office fédéral des assurances sociales renonce à se déterminer.
Les parties ont complété leur mémoire, sans toutefois qu'un nouvel échange d'écritures ait été ordonné.

Considérant en droit:
Considérant en droit:
1. Le jugement attaqué est une décision incidente sur mesures provisionnelles par laquelle les premiers juges ont rejeté la requête du recourant visant au paiement immédiat de la rente mensuelle de 6'244 fr.
1. Le jugement attaqué est une décision incidente sur mesures provisionnelles par laquelle les premiers juges ont rejeté la requête du recourant visant au paiement immédiat de la rente mensuelle de 6'244 fr.
2. Aux termes de l'art. 97 al. 1 OJ, applicable en vertu de l'art. 128 OJ, le Tribunal fédéral des assurances connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'<ref-law>. En ce qui concerne les décisions incidentes, le deuxième alinéa de cette disposition renvoie à l'<ref-law>, de sorte que le recours de droit administratif n'est recevable - séparément d'avec le fond - que contre les décisions de cette nature qui peuvent causer un préjudice irréparable au recourant. Il faut, au surplus, conformément à l'art. 129 al. 2 en liaison avec l'art. 101 let. a OJ, que le recours de droit administratif soit également ouvert contre la décision finale (<ref-ruling> consid. 2a, 124 V 85 consid. 2 et les références).
2. Aux termes de l'art. 97 al. 1 OJ, applicable en vertu de l'art. 128 OJ, le Tribunal fédéral des assurances connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'<ref-law>. En ce qui concerne les décisions incidentes, le deuxième alinéa de cette disposition renvoie à l'<ref-law>, de sorte que le recours de droit administratif n'est recevable - séparément d'avec le fond - que contre les décisions de cette nature qui peuvent causer un préjudice irréparable au recourant. Il faut, au surplus, conformément à l'art. 129 al. 2 en liaison avec l'art. 101 let. a OJ, que le recours de droit administratif soit également ouvert contre la décision finale (<ref-ruling> consid. 2a, 124 V 85 consid. 2 et les références).
3. Sont notamment considérées comme des décisions incidentes, séparément susceptibles de recours, les décisions sur les mesures provisionnelles selon les art. 55 et 56 PA (art. 45 al. 2 let. g PA).
3. Sont notamment considérées comme des décisions incidentes, séparément susceptibles de recours, les décisions sur les mesures provisionnelles selon les art. 55 et 56 PA (art. 45 al. 2 let. g PA).
4. En l'espèce la décision finale à venir est susceptible de recours devant le Tribunal fédéral des assurances (<ref-law>). Quant à l'exigence du préjudice irréparable, le recourant allègue pour l'essentiel que la procédure au fond sera émaillée d'incidents et qu'elle sera probablement suspendue jusqu'à droit connu sur le sort d'une procédure pénale en cours. La durée de la procédure le privera pendant longtemps encore de la rente à laquelle il prétend avoir droit. Il n'est point besoin cependant de trancher la question du préjudice irréparable du moment que le recours est de toute façon mal fondé.
4. En l'espèce la décision finale à venir est susceptible de recours devant le Tribunal fédéral des assurances (<ref-law>). Quant à l'exigence du préjudice irréparable, le recourant allègue pour l'essentiel que la procédure au fond sera émaillée d'incidents et qu'elle sera probablement suspendue jusqu'à droit connu sur le sort d'une procédure pénale en cours. La durée de la procédure le privera pendant longtemps encore de la rente à laquelle il prétend avoir droit. Il n'est point besoin cependant de trancher la question du préjudice irréparable du moment que le recours est de toute façon mal fondé.
5. Le grief de violation du droit d'être entendu doit être écarté. La procédure sur mesures provisionnelles est par essence une procédure dont la solution ne peut souffrir aucun retard (arrêt X. du 11 octobre 2004 [K 90/04]). L'intimée s'est déterminée sur la requête de mesures provisionnelles le 28 juillet 2004. En même temps, elle a déposé sa réponse. A ce stade, le tribunal cantonal des assurances était en droit, contrairement à ce que soutient le recourant, de statuer sur la requête sans attendre les déterminations du 16 septembre 2004 (réplique).
5. Le grief de violation du droit d'être entendu doit être écarté. La procédure sur mesures provisionnelles est par essence une procédure dont la solution ne peut souffrir aucun retard (arrêt X. du 11 octobre 2004 [K 90/04]). L'intimée s'est déterminée sur la requête de mesures provisionnelles le 28 juillet 2004. En même temps, elle a déposé sa réponse. A ce stade, le tribunal cantonal des assurances était en droit, contrairement à ce que soutient le recourant, de statuer sur la requête sans attendre les déterminations du 16 septembre 2004 (réplique).
6. Comme l'ont rappelé les premiers juges, même si la LPP prévoit une procédure d'action, l'<ref-law> constitue une base légale de droit fédéral permettant, dans le domaine de la prévoyance professionnelle, d'ordonner des mesures provisionnelles en première instance (<ref-ruling>). De telles mesures ne sont légitimes, aux termes de la loi, que si elles s'avèrent nécessaires au maintien de l'état de fait ou à la sauvegarde des intérêts compromis. En revanche, elles ne sauraient anticiper sur le jugement définitif, ni équivaloir à une condamnation provisoire sur le fond ni non plus aboutir abusivement à rendre d'emblée illusoire le procès au fond (Franz Schlauri, Die vorsorgliche Einstellung von Dauerleistungen der Sozialversicherung, in : Die Revision von Dauerleistungen in der Sozialversicherung, Saint-Gall 1999, p. 199 s.; Fritz Gygi, L'effet suspensif et les mesures provisionnelles en procédure administrative, RDAF 1976 p. 228). Dans le cas particulier, la requête de mesures provisionnelles se confond avec les conclusions prises sur le fond par le recourant; son admission équivaudrait à le mettre au bénéfice de ce qu'il réclame dans la procédure principale pendant la durée de la procédure. En soi la durée prévisible d'une procédure ne justifie pas le versement provisoire d'une prestation qui, justement, est litigieuse. Au besoin, le recourant aurait toujours la possibilité de s'opposer à une décision de suspension ou de se plaindre d'un retard injustifié.
C'est donc à bon droit que les premiers juges ont rejeté la requête.
C'est donc à bon droit que les premiers juges ont rejeté la requête.
7. Quant au grief d'inégalité de traitement, il n'est pas fondé, au motif déjà qu'il concerne le litige au fond, le recourant alléguant que la caisse intimée n'aurait pas invoqué la compensation à l'égard d'une autre personne prétendument impliquée dans la même affaire. L'inégalité alléguée n'a rien à voir avec le refus de mesures provisionnelles prononcé par les premiers juges.
7. Quant au grief d'inégalité de traitement, il n'est pas fondé, au motif déjà qu'il concerne le litige au fond, le recourant alléguant que la caisse intimée n'aurait pas invoqué la compensation à l'égard d'une autre personne prétendument impliquée dans la même affaire. L'inégalité alléguée n'a rien à voir avec le refus de mesures provisionnelles prononcé par les premiers juges.
8. Le recours de droit administratif se révèle ainsi mal fondé.
8. Le recours de droit administratif se révèle ainsi mal fondé.
9. La procédure est onéreuse (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais judiciaires (art. 156 al. 1 en corrélation avec l'art. 135 OJ).
La caisse intimée, qui obtient gain de cause, a conclu à l'allocation d'une indemnité de dépens. Conformément à l'art. 159 al. 2 OJ, dans les procédures de recours ou d'action de droit administratif, aucune indemnité pour les frais de procès n'est allouée, en règle générale, aux autorités qui obtiennent gain de cause et aux organismes chargés de tâches de droit public. Selon la jurisprudence, les institutions de prévoyance sont assimilées à de telles autorités, de sorte que, en règle ordinaire, aucune indemnité de dépens ne leur est allouée, qu'elles soient ou non représentées par un avocat (<ref-ruling> consid. 3 et 362 consid. 6). Une exception à ce principe ne se justifie pas en l'espèce.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 7 janvier 2005
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: Le Greffier: