Faits:
Faits:
A. A.X._ est, en tant que salarié, affilié à la Caisse interprofessionnelle valaisanne d'allocations familiales (ci-après: CIVAF). Le 26 août 1986, il a demandé des allocations familiales pour son fils X._ né le 12 août 1986; à cet effet, il a rempli un formulaire de la CIVAF au dos duquel il était spécifié, en caractères gras, qu'il s'engageait "à avertir immédiatement la caisse au cas où son conjoint toucherait de son côté une telle allocation, ainsi que lors de tout changement intervenant dans sa situation de famille (décès ou placement d'un enfant, séparation, etc.)".
A.X._ a touché des allocations familiales également pour son deuxième enfant, Y._, née le 17 octobre 1989, jusqu'à fin août 2001. En septembre 2001, la CIVAF a appris fortuitement que les époux A.X._ et B.X._ s'étaient séparés en décembre 1994 et avaient divorcé le 3 juin 1998; la garde des enfants avait été confiée à la mère, le père ayant été condamné à verser, chaque mois, en mains de la mère une contribution d'entretien par enfant, allocations familiales non comprises.
A.X._ a touché des allocations familiales également pour son deuxième enfant, Y._, née le 17 octobre 1989, jusqu'à fin août 2001. En septembre 2001, la CIVAF a appris fortuitement que les époux A.X._ et B.X._ s'étaient séparés en décembre 1994 et avaient divorcé le 3 juin 1998; la garde des enfants avait été confiée à la mère, le père ayant été condamné à verser, chaque mois, en mains de la mère une contribution d'entretien par enfant, allocations familiales non comprises.
B. Par décision du 18 octobre 2001, la CIVAF a réclamé à A.X._ le remboursement de 21'780 fr. correspondant au total des allocations familiales versées, à tort selon elle, d'octobre 1996 à août 2001, période pendant laquelle B.X._ avait soit travaillé comme salariée à raison de 60% ou 80% pour divers employeurs essentiellement dans le canton de Vaud, soit touché des allocations de chômage correspondantes. Se fondant sur la réglementation valaisanne topique, la CIVAF a constaté que, s'agissant des enfants de parents divorcés ou séparés de corps en fait ou en droit, l'allocation familiale complète était rattachée d'abord à la personne qui avait la garde de l'enfant (dans la mesure où cette personne exerçait une activité lucrative dépendante atteignant au moins 50 pour cent) et, subsidiairement, à la personne qui assumait d'une manière essentielle l'entretien de l'enfant. Dans ces conditions, B.X._ avait un droit propre aux allocations familiales pour les deux enfants. C'était donc à tort que A.X._ avait continué à recevoir les allocations familiales après la séparation du couple.
Par jugement du 6 mai 2002, le Tribunal cantonal des assurances du canton du Valais a confirmé le principe de la restitution, mais a ramené le montant réclamé à 11'130 fr. pour tenir compte des divers remboursements opérés par les caisses auxquelles avait été affiliée B.X._.
Par jugement du 6 mai 2002, le Tribunal cantonal des assurances du canton du Valais a confirmé le principe de la restitution, mais a ramené le montant réclamé à 11'130 fr. pour tenir compte des divers remboursements opérés par les caisses auxquelles avait été affiliée B.X._.
C. Le 17 novembre 2001, A.X._ a requis de la CIVAF la remise de l'obligation de restituer le montant des allocations familiales perçues indûment. Par décision du 10 juin 2002, la CIVAF a rejeté cette demande.
Statuant sur recours le 22 octobre 2002, le Tribunal cantonal des assurances a confirmé la décision précitée du 10 juin 2002. Il a considéré, en substance, que l'intéressé ne pouvait pas exciper de sa bonne foi, qui était l'une des deux conditions cumulatives pour obtenir une remise de l'obligation de restituer l'indu, si bien qu'il s'est abstenu d'examiner si l'autre condition (situation difficile) était ou non réalisée.
Statuant sur recours le 22 octobre 2002, le Tribunal cantonal des assurances a confirmé la décision précitée du 10 juin 2002. Il a considéré, en substance, que l'intéressé ne pouvait pas exciper de sa bonne foi, qui était l'une des deux conditions cumulatives pour obtenir une remise de l'obligation de restituer l'indu, si bien qu'il s'est abstenu d'examiner si l'autre condition (situation difficile) était ou non réalisée.
D. Par mémoire du 22 novembre 2002, A.X._ a formé un recours de droit administratif auprès du Tribunal fédéral des assurances à l'encontre des jugements du Tribunal cantonal des assurances des 6 mai 2002 et 22 octobre 2002, dont il a demandé l'annulation. Il a également conclu à l'annulation des décisions de la CIVAF du 18 octobre 2001 et du 10 juin 2002.
D. Par mémoire du 22 novembre 2002, A.X._ a formé un recours de droit administratif auprès du Tribunal fédéral des assurances à l'encontre des jugements du Tribunal cantonal des assurances des 6 mai 2002 et 22 octobre 2002, dont il a demandé l'annulation. Il a également conclu à l'annulation des décisions de la CIVAF du 18 octobre 2001 et du 10 juin 2002.
E. Par arrêt du 12 août 2003 (cause H 316/02), le Tribunal fédéral des assurances a déclaré le recours irrecevable et transmis la cause au Tribunal fédéral comme objet de sa compétence. Il a considéré en bref que le litige devait être tranché uniquement sur la base du droit cantonal. La simple référence dans l'arrêt attaqué du 22 octobre 2002 à l'art. 47 al. 1 de la loi fédérale du 20 décembre 1946 sur l'assurance-vieillesse et survivants (LAVS; RS 831.10) relatif à la restitution de rentes et allocations pour impotents de l'AVS indûment touchées ne suffisait pas pour admettre que le jugement incriminé reposait sur le droit public fédéral, car une telle disposition de droit fédéral n'avait pas été appliquée comme telle, mais à titre de droit cantonal supplétif.
F. Par lettre du 3 septembre 2003, le Président de la IIe Cour de droit public a informé A.X._ que seule la voie du recours de droit public pour arbitraire pouvait entrer en ligne de compte.
La CIVAF conclut au rejet du recours du 22 novembre 2002. Le Tribunal cantonal des assurances a renoncé à se déterminer.

Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. 1.1 Le mémoire adressé le 22 novembre 2002 au Tribunal fédéral des assurances - intitulé recours de droit administratif et transmis au Tribunal fédéral comme objet de sa compétence - doit être traité comme un recours de droit public, dans la mesure où il est dirigé contre des décisions fondées sur le droit public cantonal, comme le relève à juste titre l'arrêt précité du Tribunal fédéral des assurances. Le choix erroné d'une voie de recours auprès d'une autorité fédérale ne saurait porter préjudice au recourant, pour autant que le mémoire de recours remplisse les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1a/b p. 508; <ref-ruling> consid. 1a 224; <ref-ruling> consid. 1a 353 et les arrêts cités).
1.2 En tant qu'il conclut à l'annulation du jugement du Tribunal cantonal des assurances du 22 octobre 2002 portant sur la remise de l'obligation de restituer les prestations perçues indûment, le présent pourvoi est, en principe, recevable en vertu de l'art. 84 ss OJ.
L'acte de recours du 22 novembre 2002 est en revanche manifestement tardif (art. 89 al. 1 OJ), partant irrecevable, dans la mesure où il s'en prend au jugement du Tribunal cantonal des assurances du 6 mai 2002 (notifié le 8 mai 2002) portant sur le principe même de l'obligation de restituer les allocations familiales litigieuses.
1.3 Le recours de droit public n'est recevable, sauf exceptions non réalisées en l'espèce (cf. art. 86 al. 2 OJ; <ref-ruling> consid. 2c p. 51; <ref-ruling> consid. 8b p. 395; <ref-ruling> consid. 2b p. 23; <ref-ruling> consid. 2b p. 169 et la jurisprudence citée), qu'à l'encontre d'une décision prise en dernière instance cantonale. Dans la mesure où le recourant conclut à l'annulation des décisions de la CIVAF statuant en première instance cantonale, son recours est donc irrecevable.
1.4 Selon l'art. 88 OJ, le recours de droit public est ouvert uniquement à celui qui est atteint par l'acte attaqué dans ses intérêts personnels et juridiquement protégés. Le recours formé pour sauvegarder l'intérêt général ou ne visant qu'à préserver des intérêts de fait est en revanche irrecevable (<ref-ruling> consid. 1a p. 44; cf. également <ref-ruling> consid. 3b p. 85). Sont des intérêts personnels et juridiquement protégés ceux qui découlent d'une règle de droit fédéral ou cantonal ou encore directement d'une garantie constitutionnelle spécifique pour autant que les intérêts en cause relèvent du domaine que couvre ce droit fondamental (<ref-ruling> consid. 1.2 p. 117, 217 consid. 1 p. 219). La protection contre l'arbitraire inscrite à l'art. 9 Cst. - qui doit être respectée dans toute activité administrative de l'Etat - ne confère pas à elle seule la qualité pour agir au sens de l'art. 88 OJ (<ref-ruling> consid. 4-6 p. 81 ss, voir aussi <ref-ruling> consid. 1.3 p. 222).
La loi valaisanne du 8 novembre 1949 sur les allocations familiales aux salariés et sur le fonds cantonal pour la famille (ci-après: LAF/VS) et son règlement d'exécution du 8 novembre 1949, ne contiennent aucune règle sur la remise de l'obligation de restituer les allocations familiales touchées indûment. Les autorité cantonales ont dès lors appliqué, à titre de droit cantonal supplétif, l'<ref-law>, qui a été entre-temps abrogé par la loi fédérale du 6 octobre 2000 sur la partie générale du droit des assurances sociales (LPGA; 830.1). Selon l'<ref-law> - dont la teneur a été reprise à l'<ref-law> -, les prestations indûment touchées doivent être restituées. La restitution peut ne pas être demandée lorsque l'intéressé était de bonne foi et serait mis dans une situation difficile.
On peut se demander si le recourant peut se prévaloir d'un intérêt juridiquement protégé à obtenir une remise de l'obligation de restituer les prestations touchées indûment, dans la mesure où, d'après la teneur de l'<ref-law>, il semble que les autorités cantonales - qui disposent d'un très large pouvoir d'appréciation pour juger de la bonne foi et de la situation difficile - aient simplement la faculté d'accorder ou non une telle remise (cf. <ref-ruling> consid. 2c p. 94 s. en matière de remise d'impôt cantonal). Point n'est cependant besoin de trancher définitivement cette question, du moment que le recours est de toute façon, comme on le verra ci-après, infondé.
1.5 En vertu de l'art. 90 al. 1 lettre b OJ, l'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et préciser en quoi consiste la violation. Lorsqu'il est saisi d'un recours de droit public, le Tribunal fédéral n'a donc pas à vérifier de lui-même si l'arrêt entrepris est en tous points conforme au droit et à l'équité. Il n'examine que les griefs d'ordre constitutionnel invoqués et suffisamment motivés dans l'acte de recours. Le recourant ne saurait se contenter de soulever de vagues griefs ou de renvoyer aux actes cantonaux (<ref-ruling> consid. 2.1 p. 120, 185 consid. 1.6 p. 189; <ref-ruling> consid. 1c p. 76; <ref-ruling> consid. 4a p. 30; <ref-ruling> consid. 2b p. 318). En outre, dans un recours pour arbitraire fondé sur l'art. 9 Cst., l'intéressé ne peut se contenter de critiquer l'arrêt attaqué comme il le ferait dans une procédure d'appel où l'autorité de recours peut revoir librement l'application du droit. Il doit préciser en quoi cet arrêt serait arbitraire, ne reposerait sur aucun motif sérieux et objectif, apparaîtrait insoutenable ou heurterait gravement le sens de la justice (<ref-ruling> consid. 2a p. 3/4; cf. aussi <ref-ruling> consid. 7a p. 312; <ref-ruling> consid. 1b p. 495 et la jurisprudence citée).
Dans la mesure où le recourant soutient que l'arrêt attaqué serait entaché d'arbitraire, son recours respecte tout juste les exigences de motivation de l'art. 90 al. 1 let. b OJ. Le recours est donc recevable sur ce point. Pour le surplus, les griefs tirés notamment de l'inégalité de traitement (art. 8 Cst.) sont insuffisamment motivés, partant irrecevables.
1.6 Dans un recours de droit public pour arbitraire, soumis à l'exigence de l'épuisement des instances cantonales, l'invocation de faits nouveaux et de nouveaux moyens de preuve est en principe exclue (art. 86 OJ; <ref-ruling> consid. 5a; <ref-ruling> consid. 2a; <ref-ruling> consid. 2a), sous réserve d'exceptions non réalisées en l'espèce (<ref-ruling> consid. 4d). Le Tribunal fédéral s'en tient donc à l'état de fait tel qu'il a été retenu dans l'arrêt attaqué, à moins que le recourant n'établisse que l'autorité cantonale a constaté les faits de manière inexacte ou incomplète en violation de la Constitution (<ref-ruling> consid. 5a), ce qui n'est pas le cas en l'espèce.
En l'occurrence, le recourant a produit pour la première fois devant le Tribunal fédéral différents questionnaires destinés à la Caisse de compensation du canton du Valais en vue d'obtenir des allocations pour perte de gains à la suite de cours de protection civile et dans lesquels il avait indiqué qu'il était séparé, puis divorcé. Il a précisé que, durant la procédure cantonale, il n'avait pas pensé à produire ces pièces qui, selon lui, établiraient sa bonne foi. Or, il n'y a pas lieu de tenir compte de ces moyens de preuve qui n'ont pas été soumis à la juridiction cantonale. De toute façon, ces pièces ne sont pas pertinentes pour l'issue du litige, étant donné qu'elles avaient été adressées à une autre autorité que la CIFAV.
En l'occurrence, le recourant a produit pour la première fois devant le Tribunal fédéral différents questionnaires destinés à la Caisse de compensation du canton du Valais en vue d'obtenir des allocations pour perte de gains à la suite de cours de protection civile et dans lesquels il avait indiqué qu'il était séparé, puis divorcé. Il a précisé que, durant la procédure cantonale, il n'avait pas pensé à produire ces pièces qui, selon lui, établiraient sa bonne foi. Or, il n'y a pas lieu de tenir compte de ces moyens de preuve qui n'ont pas été soumis à la juridiction cantonale. De toute façon, ces pièces ne sont pas pertinentes pour l'issue du litige, étant donné qu'elles avaient été adressées à une autre autorité que la CIFAV.
2. 2.1 Le présent litige porte ainsi exclusivement sur le point de savoir si le recourant peut prétendre à une remise de l'obligation de restituer les prestations indûment touchées, le Tribunal cantonal des assurances ayant statué définitivement sur le principe même de l'obligation par jugement du 6 mai 2002.
2.2 Une décision est arbitraire lorsqu'elle contredit clairement la situation de fait, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de l'arrêt attaqué soient insoutenables, encore faut-il que ce dernier soit arbitraire dans son résultat. Il n'y a en outre pas arbitraire du seul fait qu'une autre solution que celle de l'autorité intimée paraît concevable, voire préférable (<ref-ruling> consid. 2.1 p. 9, 173 consid. 3.1 p. 178; <ref-ruling> consid. 2.1 p. 275; <ref-ruling> consid. 5a p. 70; <ref-ruling> consid. 2a p. 168 et la jurisprudence citée).
2.3 En l'occurrence, il est patent que le recourant avait l'obligation d'annoncer à la CIVAF tout changement intervenu dans sa situation familiale (séparation survenue en décembre 1994 et divorce prononcé en juillet 1998). Une telle obligation d'annoncer - rappelée expressément dans le formulaire de demande d'allocations familiales signé le 26 août 1986 - découle de l'art. 12 al. 2 du Règlement d'exécution du 8 novembre 1949 de LAF/VS (dans sa teneur du 26 novembre 1986), aux termes duquel il appartient au salarié d'apporter la preuve de son droit à l'allocation familiale et d'annoncer tout changement de situation pouvant influer sur son droit. Peu importe que le recourant n'ait pas reçu de la CIVAF la circulaire du 18 décembre 1992 au sujet des nouvelles dispositions sur les familles monoparentales (acceptées en votation populaire du 5 avril 1992), ainsi que le questionnaire annexé servant à déterminer les allocations familiales des personnes séparées ou divorcées. Cette nouvelle réglementation n'a rien changé au principe de l'obligation d'annonce.
Selon la jurisprudence du Tribunal fédéral des assurances relative à la notion de bonne foi au sens de l'ancien article 47 al. 1 LAVS, l'ignorance par l'intéressé du fait qu'il n'avait pas droit aux prestations versées ne suffit pas pour admettre qu'il était de bonne foi. La bonne foi est exclue d'emblée lorsque la violation de l'obligation d'annoncer ou de renseigner est imputable à un comportement dolosif ou à une négligence grave. En revanche, l'intéressé peut invoquer sa bonne foi lorsque l'acte ou l'omission fautifs ne constituent qu'une violation légère de ladite obligation (<ref-ruling> consid. 2c; <ref-ruling> consid. 3c). Il y a négligence grave quand un ayant droit ne se conforme pas à ce qui peut être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (<ref-ruling> consid. 3b; <ref-ruling> consid. 2a et les références).
La juridiction cantonale considère que le recourant a fait preuve d'une négligence grave en ayant omis d'annoncer à la CIVAF sa séparation et son divorce, si bien qu'il ne pouvait exciper de sa bonne foi qui est l'une des deux conditions cumulatives pour bénéficier d'une remise de l'obligation de restituer. L'intéressé n'a donc pas eu le comportement que l'on pouvait attendre de toute personne diligente placée dans une situation identique. Le recourant soutient que l'on ne peut lui reprocher qu'une faute légère. Il fait valoir qu'il a toujours reversé en mains de son ex-épouse la totalité des allocations familiales qu'il avait reçues, conformément à la convention de séparation homologuée par le juge le 28 décembre 1994 et au jugement de divorce du 3 juin 1998, qui prévoyaient expressément qu'il devait s'acquitter d'une contribution d'entretien par enfant, allocations familiales non comprises. Il est vrai qu'il n'y a eu d'enrichissement ni du recourant ni de son ex-épouse (encore que les allocations familiales prévues par le droit cantonal vaudois soient moins élevées que celles versées dans le canton du Valais).
Le Tribunal cantonal a retenu une négligence grave à l'encontre du recourant. Cette appréciation peut paraître sévère, voire discutable, au vu de la jurisprudence précitée du Tribunal fédéral des assurances applicable ici par analogie. Mais l'arrêt attaqué n'est en tout cas pas arbitraire dans son résultat, surtout si l'on considère que le recourant croyait - certes à tort - que son ex-épouse touchait des allocations familiales à double, ce qui constitue un indice supplémentaire militant en faveur d'une négligence grave.
3. Vu ce qui précède, le présent recours - traité comme un recours de droit public - doit être rejeté dans la mesure où il est recevable. Avec ce prononcé, la requête d'effet suspensif devient sans objet. Succombant, le recourant doit supporter un émolument judiciaire (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours, traité comme un recours de droit public, est rejeté dans la mesure où il est recevable.
1. Le recours, traité comme un recours de droit public, est rejeté dans la mesure où il est recevable.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, la Caisse interprofessionnelle valaisanne d'allocations familiales et au Tribunal cantonal des assurances du canton du Valais.
Lausanne, le 1er mars 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: