Faits:
Faits:
A. Par acte du 24 mai 2004, A._, ancien président de la Commission de gestion de la Caisse de retraite et de prévoyance X._, a ouvert action contre cette institution devant le Tribunal cantonal des assurances, en demandant, en substance, qu'elle soit condamnée à lui verser une rente mensuelle de vieillesse de 6'244 fr. à partir du 1er avril 2004. Simultanément, il a présenté une requête de mesures provisionnelles tendant au paiement de cette prestation pendant la durée de la procédure.
Invoquant une créance compensatoire d'un montant de 4'035'835 fr. au titre du dommage que A._ lui aurait causé en violant gravement ses obligations de diligence et de fidélité lorsqu'il était président de sa Commission de gestion, X._ a conclu au rejet respectivement de l'action et de la requête de mesures provisionnelles.
Invoquant une créance compensatoire d'un montant de 4'035'835 fr. au titre du dommage que A._ lui aurait causé en violant gravement ses obligations de diligence et de fidélité lorsqu'il était président de sa Commission de gestion, X._ a conclu au rejet respectivement de l'action et de la requête de mesures provisionnelles.
B. Par décision incidente du 10 septembre 2004, déférée immédiatement auprès du Tribunal fédéral des assurances, le Tribunal cantonal des assurances a rejeté la demande de mesures provisionnelles de A._.
Le 30 novembre 2004, la Présidente du Tribunal cantonal des assurances a suspendu la procédure jusqu'à droit connu sur le recours de droit administratif formé contre la décision du 10 septembre 2004. A._ a également interjeté un recours de droit administratif contre cette décision.
Par arrêts des 7 janvier et 22 février 2005, le Tribunal fédéral des assurances a rejeté le recours formé contre la décision du 10 septembre 2004 (cause B 97/04) et déclaré irrecevable celui interjeté contre la décision du 30 novembre 2004 (cause B 137/04).
Par arrêts des 7 janvier et 22 février 2005, le Tribunal fédéral des assurances a rejeté le recours formé contre la décision du 10 septembre 2004 (cause B 97/04) et déclaré irrecevable celui interjeté contre la décision du 30 novembre 2004 (cause B 137/04).
C. A réception de l'arrêt du 22 février 2005, le Tribunal cantonal des assurances a repris la procédure et ordonné la poursuite de l'échange d'écritures. Le 22 décembre 2005, Eve-Marie Dayer Schmid, Présidente du Tribunal cantonal des assurances, a suspendu à nouveau la procédure jusqu'à droit connu sur une procédure pénale instruite à l'encontre de A._.
Par arrêt du 24 mai 2006, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par A._ contre cette décision et invité la Présidente du Tribunal cantonal des assurances à reprendre l'instruction de la cause (cause B 143/05).
Par arrêt du 24 mai 2006, le Tribunal fédéral des assurances a admis le recours de droit administratif interjeté par A._ contre cette décision et invité la Présidente du Tribunal cantonal des assurances à reprendre l'instruction de la cause (cause B 143/05).
D. Par acte du 7 juin 2006, A._ a requis la récusation d'Eve-Marie Dayer-Schmid en raison de son lien de parenté avec B._, avocat de la Fédération Y._, association partie civile dans la procédure pénale ouverte à son encontre.
Par jugement du 30 août 2006, le Tribunal cantonal des assurances a rejeté la demande de récusation, motif pris notamment de la tardiveté de la requête.
Par jugement du 30 août 2006, le Tribunal cantonal des assurances a rejeté la demande de récusation, motif pris notamment de la tardiveté de la requête.
E. A._ a interjeté un recours de droit administratif contre ce jugement, dont il a demandé l'annulation. Sous suite de frais et dépens, il a conclu à la récusation d'Eve-Marie Dayer-Schmid. Il a sollicité en outre l'octroi de l'assistance judiciaire pour la procédure fédérale.
Le Tribunal cantonal des assurances s'en est remis aux motifs du jugement attaqué. L'Office fédéral des assurances sociales n'a pas été invité à se déterminer.
Le Tribunal cantonal des assurances s'en est remis aux motifs du jugement attaqué. L'Office fédéral des assurances sociales n'a pas été invité à se déterminer.
F. Par décision incidente du 6 mars 2007, le Tribunal fédéral a rejeté la demande d'assistance judiciaire formée par l'assuré. Celui-ci s'est acquitté dans le délai imparti de l'avance de frais requise.
Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
2. Aux termes de l'art. 97 al. 1 OJ, applicable en vertu de l'art. 128 OJ, le Tribunal fédéral connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'art. 5 PA. D'après l'art. 5 al. 2 PA, sont également considérées comme des décisions susceptibles de recours les décisions incidentes au sens de l'art. 45 PA, si celles-ci sont de nature à causer un préjudice irréparable au recourant. La décision qui porte sur la récusation (art. 45 al. 2 let. b PA) est considérée comme une décision propre à faire naître un préjudice irréparable (ATF 104 V 174 consid. 1b p. 176; André Grisel, Traité de droit administratif, Neuchâtel 1984, vol. II, p. 870 sv.). Comme par ailleurs la décision finale du Tribunal cantonal des assurances pourra être déférée au Tribunal fédéral (art. 129 al. 2 OJ en corrélation avec l'art. 101 let. a OJ a contrario) et que le recours a été déposé dans le délai de dix jours dès la notification de la décision attaquée (art. 132 al. 1 OJ, dans sa teneur applicable à compter du 1er juillet 2006, en corrélation avec l'art. 106 al. 1 OJ), le présent recours est recevable.
2. Aux termes de l'art. 97 al. 1 OJ, applicable en vertu de l'art. 128 OJ, le Tribunal fédéral connaît en dernière instance des recours de droit administratif contre des décisions au sens de l'art. 5 PA. D'après l'art. 5 al. 2 PA, sont également considérées comme des décisions susceptibles de recours les décisions incidentes au sens de l'art. 45 PA, si celles-ci sont de nature à causer un préjudice irréparable au recourant. La décision qui porte sur la récusation (art. 45 al. 2 let. b PA) est considérée comme une décision propre à faire naître un préjudice irréparable (ATF 104 V 174 consid. 1b p. 176; André Grisel, Traité de droit administratif, Neuchâtel 1984, vol. II, p. 870 sv.). Comme par ailleurs la décision finale du Tribunal cantonal des assurances pourra être déférée au Tribunal fédéral (art. 129 al. 2 OJ en corrélation avec l'art. 101 let. a OJ a contrario) et que le recours a été déposé dans le délai de dix jours dès la notification de la décision attaquée (art. 132 al. 1 OJ, dans sa teneur applicable à compter du 1er juillet 2006, en corrélation avec l'art. 106 al. 1 OJ), le présent recours est recevable.
3. Selon une jurisprudence constante, le motif de récusation doit être invoqué dès que possible, à défaut de quoi le plaideur est réputé avoir tacitement renoncé à s'en prévaloir (ATF 119 Ia 221 consid. 5a et les arrêts cités p. 227; Egli/Kurz, La garantie du juge indépendant et impartial dans la jurisprudence récente, in Recueil de Jurisprudence neuchâteloise [RJN] 1999 p. 28 sv.). En particulier, il est contraire à la bonne foi d'attendre l'issue d'une procédure pour tirer argument, à l'occasion d'un recours, de la composition incorrecte de l'autorité qui a statué, alors que le motif de récusation était déjà connu auparavant (ATF 124 I 121 consid. 2 p. 122, 119 Ia 221 consid. 5a p. 227, 118 Ia 282 consid. 3a p. 284).
3. Selon une jurisprudence constante, le motif de récusation doit être invoqué dès que possible, à défaut de quoi le plaideur est réputé avoir tacitement renoncé à s'en prévaloir (ATF 119 Ia 221 consid. 5a et les arrêts cités p. 227; Egli/Kurz, La garantie du juge indépendant et impartial dans la jurisprudence récente, in Recueil de Jurisprudence neuchâteloise [RJN] 1999 p. 28 sv.). En particulier, il est contraire à la bonne foi d'attendre l'issue d'une procédure pour tirer argument, à l'occasion d'un recours, de la composition incorrecte de l'autorité qui a statué, alors que le motif de récusation était déjà connu auparavant (ATF 124 I 121 consid. 2 p. 122, 119 Ia 221 consid. 5a p. 227, 118 Ia 282 consid. 3a p. 284).
4. 4.1 A l'arrêt B 143/05 du 24 mai 2006, le Tribunal fédéral des assurances, examinant à titre préjudiciel la question de la récusation d'Eve-Marie Dayer-Schmid, a constaté que dans le recours interjeté contre la décision incidente du 30 novembre 2004, A._ avait déjà demandé l'annulation de la décision en question en raison du lien de parenté entre la Présidente du Tribunal cantonal des assurances et B._. Par arrêt B 137/04 du 22 février 2005, le recours a été déclaré irrecevable, parce que déposé après le délai de dix jours dont disposaient les parties pour contester la décision incidente litigieuse. Par la suite, A._ n'a plus soulevé la question et n'a pas formellement demandé la récusation d'Eve-Marie Dayer-Schmid pour les prochaines décisions à rendre en instance cantonale. Dans une lettre du 14 décembre 2005 adressée à «Madame la Présidente du Tribunal cantonal des assurances, Messieurs les Juges du Tribunal cantonal des assurances», il a au contraire formulé dix griefs sur la manière dont la procédure était menée, sans évoquer la question de la récusation de l'un des membres du tribunal. Dans ces conditions, le recourant ne pouvait plus prétendre l'annulation de la décision incidente du 22 décembre 2005 en raison du lien de parenté liant Eve-Marie Dayer-Schmid à B._.
4.2 A l'appui de la demande de récusation qu'il a formée le 7 juin 2006 à l'encontre d'Eve-Marie Dayer-Schmid, le recourant a repris les motifs qu'il avait déjà invoqués dans le cadre de la cause B 143/05. Or, comme l'a souligné le Tribunal cantonal des assurances, la Cour de céans a déjà examiné les griefs soulevés par le recourant dans le cadre de la procédure précitée. Elle a considéré que le motif de récusation fondé sur le lien de parenté unissant Eve-Marie Dayer-Schmid et B._ avait été allégué tardivement - laissant ainsi indécis la question du bien-fondé de ce motif de récusation - et que l'utilisation dans la décision du 22 décembre 2005 des termes de « dommage subi » par X._ ne faisait par ailleurs pas apparaître Eve-Marie Dayer-Schmid pour prévenue, quand bien même l'expression « dommage allégué » aurait été plus appropriée. Il n'y a pas lieu de revenir sur ces considérations dans la présente procédure.
Certes le Tribunal fédéral des assurances a indiqué à l'arrêt B 143/05 du 24 mai 2006 que la question de la récusation d'Eve-Marie Dayer-Schmid pour la suite de la procédure ne faisait pas l'objet de la procédure soumise à son examen. Le recourant se méprend toutefois sur la portée de ce propos. Celui-ci signifie simplement qu'il est loisible au recourant de déposer à tout moment une nouvelle demande de récusation, pour autant qu'il dispose d'éléments de fait nouveaux susceptibles de donner l'apparence de la prévention et de faire redouter objectivement une activité partiale de la part d'Eve-Marie Dayer-Schmid. Il ne permet certainement pas au recourant de pouvoir faire réexaminer par le biais d'une nouvelle demande de récusation les motifs sur lesquels le Tribunal fédéral des assurances s'est déjà exprimé à titre préjudiciel.
Partant, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
Partant, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
5. Le recourant, qui succombe, doit supporter les frais de justice (art. 156 al. 1 en corrélation avec l'art. 135 OJ). Il ne saurait par ailleurs prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 OJ en corrélation avec l'art. 135 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours de droit administratif est rejeté.
1. Le recours de droit administratif est rejeté.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
2. Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
3. Le présent arrêt sera communiqué aux parties, à la Caisse de retraite et de prévoyance du personnel X._, au Tribunal cantonal des assurances et à l'Office fédéral des assurances sociales.
Lucerne, le 12 juin 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier: