Faits:
Faits:
A. L'association "Y._", dont le but était le développement et l'épanouissement des adolescents et adolescentes qui lui étaient confiés pour une action socio-éducative, a été constituée le 18 février 1986. A._ était Président de cette association, qu'il pouvait engager par une signature collective à deux avec un membre du comité. L'association a occupé plusieurs salariés et elle était affiliée à la Caisse d'allocations familiales B._(ci-après: B._).
L'association ne s'est pas acquittée envers B._ de la totalité des cotisations dues pour la période d'août 2001 à août 2002. Une procédure de recouvrement a été introduite et a conduit à l'ouverture de la faillite de l'association le 28 août 2002 et à l'établissement d'un acte de défaut de biens pour un montant de 24'624 fr. 15, le 8 août 2003.
L'association ne s'est pas acquittée envers B._ de la totalité des cotisations dues pour la période d'août 2001 à août 2002. Une procédure de recouvrement a été introduite et a conduit à l'ouverture de la faillite de l'association le 28 août 2002 et à l'établissement d'un acte de défaut de biens pour un montant de 24'624 fr. 15, le 8 août 2003.
B. Par décision du 16 juin 2003, B._ a exigé de A._ le paiement du montant de 24'624 fr. 15 au titre de réparation du dommage causé ensuite de non-paiement de cotisations salariales. L'intéressé a fait opposition à cette décision le 4 juillet 2003, niant toute faute ou négligence grave de sa part.
Le 31 juillet 2003, B._ a déposé auprès du Tribunal cantonal des assurances valaisan une action en réparation du dommage à l'encontre de A._. Elle a conclu à ce qu'il soit reconnu débiteur d'un montant de 24'624 fr. 15 et à ce que l'opposition formulée le 4 juillet 2003 soit levée.
Constatant que la procédure (décision - opposition - action en réparation du dommage) prévue par l'ancien art. 81 du règlement du 31 octobre 1947 sur l'assurance vieillesse et survivants (RAVS; RS 831.101) ne pouvait plus être suivie dès l'entrée en vigueur le 1er janvier 2003 de la loi fédérale du 6 octobre 2000 sur la partie générale du droit des assurances sociales (LPGA; RS 830.1), le Tribunal cantonal des assurances a considéré l'opposition du 4 juillet 2003 comme un recours dirigé à l'encontre de la décision du 16 juin 2003.
Statuant le 18 février 2004, il l'a rejeté, précisant expressément que A._ devait à B._ le montant de 24'624 fr. 15. Pour l'essentiel, le Tribunal cantonal des assurances a retenu que B._ avait fait preuve d'une négligence grave en n'ayant pas réagi immédiatement et en ne s'étant pas inquiété en priorité du versement des cotisations aux assurances sociales à la suite du rapport de l'organe de contrôle du 16 mai 2001 faisant état d'une situation financière fragilisée et à la suite des procédures de recouvrement introduites dès novembre 2001 par B._. Par ailleurs, le fait que le directeur de l'association, C._, a été condamné pénalement pour avoir commis des malversations au préjudice de celle-ci ne saurait justifier d'exonérer A._ de son devoir de surveillance concernant l'accomplissement de l'obligation légale de payer les cotisations d'assurances sociales.
Statuant le 18 février 2004, il l'a rejeté, précisant expressément que A._ devait à B._ le montant de 24'624 fr. 15. Pour l'essentiel, le Tribunal cantonal des assurances a retenu que B._ avait fait preuve d'une négligence grave en n'ayant pas réagi immédiatement et en ne s'étant pas inquiété en priorité du versement des cotisations aux assurances sociales à la suite du rapport de l'organe de contrôle du 16 mai 2001 faisant état d'une situation financière fragilisée et à la suite des procédures de recouvrement introduites dès novembre 2001 par B._. Par ailleurs, le fait que le directeur de l'association, C._, a été condamné pénalement pour avoir commis des malversations au préjudice de celle-ci ne saurait justifier d'exonérer A._ de son devoir de surveillance concernant l'accomplissement de l'obligation légale de payer les cotisations d'assurances sociales.
C. Agissant par la voie du recours de droit public, A._ requiert le Tribunal fédéral d'annuler le jugement du 18 février 2004 du Tribunal cantonal des assurances et de renvoyer la cause à celui-ci pour nouvelle décision. II se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits en reprochant à la juridiction cantonale de ne pas avoir donné suite à sa requête tendant à la production du dossier pénal concernant les malversations commises par le directeur de l'association au détriment de celle-ci. L'intéressé considère en effet que le Tribunal cantonal des assurances était dans l'incapacité complète de déterminer s'il avait commis ou non une négligence grave sans connaître la nature et l'importance des détournements opérés par C._.
Dans leurs réponses respectives, le Tribunal cantonal des assurances et B._ concluent au rejet du recours.
Dans leurs réponses respectives, le Tribunal cantonal des assurances et B._ concluent au rejet du recours.
D. Par ordonnance présidentielle du 12 mai 2004, la demande d'effet suspensif présentée par A._ a été admise.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 130 II 65 consid. 1 p. 67).
1.1 Le recours de droit public n'a, sauf exceptions non réalisées en l'espèce, qu'une fonction cassatoire, de sorte que les conclusions qui tendent à obtenir plus ou autre chose que l'annulation de la décision cantonale, comme ici le renvoi de la cause à la cour cantonale pour nouvelle décision, sont irrecevables (ATF 129 I 129 consid. 1.2.1 p. 131, 173 consid. 1.5 p. 176).
1.2 Pour le surplus, déposé en temps utile et dans les formes prescrites par la loi, le présent recours remplit en principe les conditions de recevabilité des art. 84 ss OJ.
1.2 Pour le surplus, déposé en temps utile et dans les formes prescrites par la loi, le présent recours remplit en principe les conditions de recevabilité des art. 84 ss OJ.
2. Le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits en reprochant au Tribunal cantonal des assurances de ne pas avoir donné suite à sa requête tendant à la production du dossier pénal concernant les malversations commises par le directeur de l'association.
2.1 Selon la jurisprudence, le droit d'être entendu - tel qu'il était déduit de l'art. 4 aCst. et tel qu'il est désormais garanti par l'art. 29 al. 2 Cst. - comprend le droit pour l'intéressé de prendre connaissance du dossier (ATF 126 I 7 consid. 2b p. 10), de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou à tout le moins de s'exprimer sur son résultat, lorsque cela est de nature à influer sur la décision à rendre (ATF 127 III 576 consid. 2c p. 578; 127 V 431 consid. 3a p. 436; 124 II 132 consid. 2b p. 137 et la jurisprudence citée).
Le droit de faire administrer des preuves, découlant du droit d'être entendu, suppose que le fait à prouver soit pertinent, que le moyen de preuve proposé soit nécessaire pour constater ce fait et que la demande soit présentée selon les formes et délais prescrits par le droit cantonal. Cette garantie constitutionnelle n'empêche cependant pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 119 Ib 492 consid. 5b/bb p. 505/506; cf. aussi ATF 124 I 208 consid. 4a p. 211, 241 consid. 2 p. 242 et les références citées).
2.2 En l'occurrence, le Tribunal cantonal des assurances n'a pas donné suite à la requête de preuve tendant à la production du dossier pénal relatif aux malversations commises au détriment de l'association par son directeur, C._. Contrairement aux affirmations du recourant, il ressort du jugement attaqué que cette renonciation n'était pas fondée essentiellement sur la constatation que les actes en question étaient admis par leur auteur. Le Tribunal cantonal des assurances a plutôt estimé que les faits qui pourraient être établis sur la base de ce moyen de preuve n'étaient de toute façon pas pertinents pour la solution du litige. Il a tout d'abord relevé qu'une partie des cotisations non acquittées concernait des salaires qui ont été versés durant une période postérieure au licenciement du directeur. En se référant à la jurisprudence, il a ensuite considéré que les agissements de celui-ci, quelle qu'en soit leur nature ou leur ampleur, n'étaient pas susceptibles d'exonérer le recourant de son devoir de surveillance et de la responsabilité qui lui incombait en tant que président de l'association. Dans le même ordre d'idées, le jugement attaqué relève que c'est l'absence de réaction concrète du recourant qui lui est reprochée, alors même qu'il connaissait la situation financière précaire de l'association; il aurait donc dû s'inquiéter en priorité du règlement des cotisations aux assurances sociales. A cet égard également, les circonstances exactes dans lesquelles sont intervenues les malversations commises importent peu, d'autant moins que la signature collective à deux avec tout membre du comité aurait permis au recourant de verser les cotisations dues sans le concours du directeur.
Face à ce raisonnement, le recourant se limite à indiquer que la renonciation à ce moyen de preuve le prive de la possibilité de démontrer qu'il a été lui-même trompé par des astuces qui l'ont empêché, malgré sa vigilance et celle des organes de subvention et de contrôle, de constater l'existence et l'importance des malversations faites au détriment de l'association. En cela, il ignore toutefois que sa responsabilité n'est pas engagée en raison du fait qu'il n'a pas découvert les malversations commises, mais sur la base de son omission fautive de s'assurer du versement effectif de cotisations d'assurances sociales. La position du recourant ne permet ainsi pas de remettre en cause l'argumentation du Tribunal cantonal des assurances et de conclure que les faits susceptibles d'être établis par la production du dossier pénal relatif aux malversations commises par le directeur de l'association pourraient avoir une importance pour la solution du litige.
Le droit du recourant à faire administrer des preuves n'a ainsi pas été violé en l'espèce.
Le droit du recourant à faire administrer des preuves n'a ainsi pas été violé en l'espèce.
3. Manifestement mal fondé, le recours doit être rejeté selon la procédure simplifiée de l'art. 36a OJ. Succombant, le recourant doit supporter les frais judiciaires (art. 153, 153a et 156 al. 1 OJ). La CIVAF n'a pas droit à des dépens (art. 159 al. 2 OJ).
Par ces motifs, vu l'art. 36a OJ, le Tribunal fédéral prononce:
Par ces motifs, vu l'art. 36a OJ, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
1. Le recours est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, à B._ et au Tribunal cantonal des assurances du canton du Valais.
Lausanne, le 7 septembre 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: