Faits:
Faits:
A. A la suite de l'opposition formée par C._, la Caisse de compensation du canton du Valais (ci-après la Caisse de compensation) a ouvert action en réparation du dommage à son encontre devant le Tribunal cantonal des assurances par mémoire du 24 mars 1999. Dans sa réponse, C._ a conclu au rejet de la demande. A titre de mesures d'instruction, il a proposé l'audition d'un certain nombre de témoins, l'édition du dossier de la Caisse de compensation, ainsi qu'une expertise comptable et financière.
Procédant à l'instruction de la cause, la juridiction cantonale a requis l'édition par le juge d'instruction pénale du dossier de la procédure ouverte contre C._. Par décision du 14 août 2003, le magistrat instructeur a autorisé la consultation du dossier au greffe. C._ a déposé une plainte devant la Chambre pénale du Tribunal cantonal, ainsi qu'un recours devant la Cour de droit public du Tribunal cantonal. Ces procédures sont toujours pendantes.
Procédant à l'instruction de la cause, la juridiction cantonale a requis l'édition par le juge d'instruction pénale du dossier de la procédure ouverte contre C._. Par décision du 14 août 2003, le magistrat instructeur a autorisé la consultation du dossier au greffe. C._ a déposé une plainte devant la Chambre pénale du Tribunal cantonal, ainsi qu'un recours devant la Cour de droit public du Tribunal cantonal. Ces procédures sont toujours pendantes.
B. Par décision du 13 octobre 2003, la présidente du Tribunal cantonal des assurances a prononcé:
«1.-Il est constaté la nullité de la décision de l'Office du Juge d'instruction cantonal du 14 août 2003, laquelle est remplacée par la présente décision.
2.- Il est ordonné à l'Office du Juge d'instruction cantonal de produire en cause le dossier pénal OCA P1 03 2 (MP c/C._).
3.- Il n'est pas perçu de frais.
4.- L'Etat du Valais versera à C._ 600 fr. à titre de dépens.»
4.- L'Etat du Valais versera à C._ 600 fr. à titre de dépens.»
C. C._ interjette recours de droit administratif contre cette décision. Sous suite de frais et dépens, il demande principalement d'en constater la nullité, subsidiairement de l'annuler.
La Caisse de compensation a conclu au rejet du recours alors que l'Office fédéral des assurances sociales a renoncé à déposer des observations.
La Caisse de compensation a conclu au rejet du recours alors que l'Office fédéral des assurances sociales a renoncé à déposer des observations.
D. Par ordonnance du 7 novembre 2003 du Président de la Chambre, l'effet suspensif a été accordé au recours de droit administratif, les frais de décision suivant le sort de la cause au fond.
D. Par ordonnance du 7 novembre 2003 du Président de la Chambre, l'effet suspensif a été accordé au recours de droit administratif, les frais de décision suivant le sort de la cause au fond.
E. Le 12 novembre 2003, C._ a adressé un recours de droit public au Tribunal fédéral. A réception de cette écriture, le président de la IIe Cour de droit public a proposé, de manière non formelle, que le Tribunal fédéral des assurances se saisisse de l'ensemble des griefs soulevés dans les recours, ce qui a été accepté. En conséquence, C._ a retiré son recours de droit public et l'affaire a été rayée du rôle par décision du 20 janvier 2004 du président de la IIe Cour de droit public.

Considérant en droit:
Considérant en droit:
1. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. Dans le recours de droit administratif, C._ critique pour l'essentiel la décision de la présidente du Tribunal des assurances dans la mesure où elle a pour objet finalement le dépôt en cause du dossier de la procédure pénale ouverte contre lui en l'office du juge d'instruction pénale à Sion.
Aux termes de l'art. 61 let. c LPGA (applicable in casu suivant l'<ref-ruling> consid. 2.2), le tribunal établit avec la collaboration des parties les faits déterminants pour la solution du litige; il administre les preuves nécessaires et les apprécie librement. Reprise de l'ancien art. 85 al. 2 let. c LAVS, cette disposition est appliquée suivant le jurisprudence rendue jusqu'alors (arrêt M. du 16 octobre 2003, H 110/03). L'obligation faite au juge de réunir d'office les moyens de preuve pertinents n'est pas limitée dans la procédure du droit des assurances sociales (Kieser, ATSG-Kommentar, n° 61 ad <ref-law>). Il est ainsi de jurisprudence que le juge des assurances peut ordonner l'édition du dossier d'une procédure pénale même si elle est en cours d'instruction et qu'il n'est ainsi pas certain qu'un jugement pénal sera rendu dans un avenir prévisible dès lors qu'il s'agit, dans le cas de l'<ref-law>, de dire si le droit de demander la réparation d'un dommage dérive éventuellement d'un acte punissable (<ref-law> en vigueur jusqu'au 31 décembre 2002, actuellement <ref-law>; cf. RCC 1991 p. 381 consid. 3b non publié de l'arrêt paru aux <ref-ruling>).
Dans la mesure où il se réfère au chiffre 2 du dispositif de la décision attaquée, le recours de droit administratif se révèle ainsi mal fondé.
Dans la mesure où il se réfère au chiffre 2 du dispositif de la décision attaquée, le recours de droit administratif se révèle ainsi mal fondé.
3. Le recourant reproche en outre à la présidente du Tribunal des assurances d'avoir à tort déclaré nulle la décision du juge d'instruction pénale, soutenant au demeurant qu'elle n'en avait pas la compétence au regard de l'organisation judiciaire valaisanne.
3.1 Selon l'art. 9 du règlement d'organisation des tribunaux valaisans du 4 mai 1999 (ROT; RS VS 173.100), auquel renvoie le règlement régissant la procédure devant le Tribunal cantonal des assurances du 2 octobre 2001 (RS VS 173.400), lorsqu'une affaire relève d'un tribunal collégial, la présidence, un juge délégué ou un greffier pourvoit aux actes d'instruction nécessaires, lorsque ceux-ci n'incombent pas expressément à la cour plénière de par la loi.
Dans cette mesure, la compétence de la présidente du Tribunal des assurances de rendre une ordonnance de preuve n'apparaît pas contraire au droit fédéral (cf. consid. 1). Autre est la question de savoir si, en rendant cette décision, la présidente avait aussi compétence pour constater la nullité éventuelle de la décision du 14 août 2003 du juge d'instruction pénale.
3.2 Il est de jurisprudence que l'inefficacité et la nullité doivent être relevées d'office par toute autorité (<ref-ruling> consid. 2.3, 129 I 363 consid. 2 et les références), que ce soit l'autorité de recours, l'autorité qui a rendu la décision voire une tierce autorité. Dans ce dernier cas, il arrive en effet que, pour exercer ses attributions propres, la tierce autorité statue sur la nullité de la décision viciée à titre préjudiciel. Mais alors elle n'est compétente que pour priver la décision d'effet dans sa propre sphère d'attribution et non pour prononcer la sanction avec autorité formelle de chose décidée. L'effet de son prononcé constatatoire est donc ici relatif (Moor, Droit administratif, t. II, p. 308).
3.3 Selon un principe général, la nullité d'un acte commis en violation de la loi doit résulter ou bien d'une disposition légale expresse, ou bien du sens et du but de la norme en question (<ref-ruling> sv. consid. 3a; Pra 2000 no 161 p. 972 sv. consid. 3a). En d'autres termes, il n'y a lieu d'admettre la nullité, hormis les cas expressément prévus par la loi, qu'à titre exceptionnel, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire (cf. <ref-ruling> consid. 1). Ainsi, d'après la jurisprudence, la nullité d'une décision n'est admise que si le vice dont elle est entachée est particulièrement grave en raison de l'importance de la norme violée, est manifeste ou du moins facilement décelable et si, en outre, la constatation de la nullité ne met pas sérieusement en danger la sécurité du droit. Des vices de fond n'entraînent qu'à de rares exceptions la nullité d'une décision; en revanche, de graves vices de procédure, ainsi que l'incompétence qualifiée de l'autorité qui a rendu la décision sont des motifs de nullité (<ref-ruling> sv. consid. 2 et 2.1 et les références).
3.4 Dans le cas particulier, la décision a été rendue par le juge d'instruction pénale au sujet d'un dossier dont il assume la responsabilité de l'instruction. Il n'apparaît pas ainsi - et cela n'est pas relevé dans la motivation, au demeurant fort succinte de la décision entreprise - que ce faisant, le juge d'instruction aurait violé des règles essentielles de sa loi de procédure en rendant cette ordonnance autorisant la consultation du dossier.
En tout état de cause, la présidente du Tribunal cantonal des assurances n'était pas compétente pour constater la nullité de la décision du juge d'instruction pénale et pour la «remplacer» par sa propre ordonnance, une telle compétence n'étant pas donnée suivant les art. 56 sv. LPGA.
En tout état de cause, la présidente du Tribunal cantonal des assurances n'était pas compétente pour constater la nullité de la décision du juge d'instruction pénale et pour la «remplacer» par sa propre ordonnance, une telle compétence n'étant pas donnée suivant les art. 56 sv. LPGA.
4. Vu le sort de la cause, il est renoncé à percevoir des frais de justice et des dépens réduits seront alloués au recourant, à charge de la partie intimée.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est partiellement admis en ce sens que le chiffre 1 du dispositif de la décision du 13 octobre 2003 de la présidente du Tribunal cantonal des assurances du canton du Valais est annulé. Pour le surplus, il est rejeté.
1. Le recours est partiellement admis en ce sens que le chiffre 1 du dispositif de la décision du 13 octobre 2003 de la présidente du Tribunal cantonal des assurances du canton du Valais est annulé. Pour le surplus, il est rejeté.
2. Il n'est pas perçu de frais de justice et l'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
2. Il n'est pas perçu de frais de justice et l'avance de frais versée par le recourant, d'un montant de 500 fr., lui est restituée.
3. La Caisse de compensation du canton du Valais versera au recourant la somme de 1'000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
3. La Caisse de compensation du canton du Valais versera au recourant la somme de 1'000 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances, à l'Office du Juge d'instruction cantonal, au Tribunal cantonal du canton du Valais, Cour de droit public, au Tribunal cantonal du Valais, Chambre pénale, au Tribunal fédéral, IIe Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 19 août 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: