Faits: Faits: A. A.X._ est, en tant que salarié, affilié à la Caisse interprofessionnelle valaisanne d'allocations familiales (ci-après: CIVAF). Le 26 août 1986, il a demandé des allocations familiales pour son fils X._ né le 12 août 1986; à cet effet, il a rempli un formulaire de la CIVAF au dos duquel il était spécifié, en caractères gras, qu'il s'engageait "à avertir immédiatement la caisse au cas où son conjoint toucherait de son côté une telle allocation, ainsi que lors de tout changement intervenant dans sa situation de famille (décès ou placement d'un enfant, séparation, etc.)". A.X._ a touché des allocations familiales également pour son deuxième enfant, Y._, née le 17 octobre 1989, jusqu'à fin août 2001. En septembre 2001, la CIVAF a appris fortuitement que les époux A.X._ et B.X._ s'étaient séparés en décembre 1994 et avaient divorcé le 3 juin 1998; la garde des enfants avait été confiée à la mère, le père ayant été condamné à verser, chaque mois, en mains de la mère une contribution d'entretien par enfant, allocations familiales non comprises. A.X._ a touché des allocations familiales également pour son deuxième enfant, Y._, née le 17 octobre 1989, jusqu'à fin août 2001. En septembre 2001, la CIVAF a appris fortuitement que les époux A.X._ et B.X._ s'étaient séparés en décembre 1994 et avaient divorcé le 3 juin 1998; la garde des enfants avait été confiée à la mère, le père ayant été condamné à verser, chaque mois, en mains de la mère une contribution d'entretien par enfant, allocations familiales non comprises. B. Par décision du 18 octobre 2001, la CIVAF a réclamé à A.X._ le remboursement de 21'780 fr. correspondant au total des allocations familiales versées, à tort selon elle, d'octobre 1996 à août 2001, période pendant laquelle B.X._ avait soit travaillé comme salariée à raison de 60% ou 80% pour divers employeurs essentiellement dans le canton de Vaud, soit touché des allocations de chômage correspondantes. Se fondant sur la réglementation valaisanne topique, la CIVAF a constaté que, s'agissant des enfants de parents divorcés ou séparés de corps en fait ou en droit, l'allocation familiale complète était rattachée d'abord à la personne qui avait la garde de l'enfant (dans la mesure où cette personne exerçait une activité lucrative dépendante atteignant au moins 50 pour cent) et, subsidiairement, à la personne qui assumait d'une manière essentielle l'entretien de l'enfant. Dans ces conditions, B.X._ avait un droit propre aux allocations familiales pour les deux enfants. C'était donc à tort que A.X._ avait continué à recevoir les allocations familiales après la séparation du couple. Par jugement du 6 mai 2002, le Tribunal cantonal des assurances du canton du Valais a confirmé le principe de la restitution, mais a ramené le montant réclamé à 11'130 fr. pour tenir compte des divers remboursements opérés par les caisses auxquelles avait été affiliée B.X._. Par jugement du 6 mai 2002, le Tribunal cantonal des assurances du canton du Valais a confirmé le principe de la restitution, mais a ramené le montant réclamé à 11'130 fr. pour tenir compte des divers remboursements opérés par les caisses auxquelles avait été affiliée B.X._. C. Le 17 novembre 2001, A.X._ a requis de la CIVAF la remise de l'obligation de restituer le montant des allocations familiales perçues indûment. Par décision du 10 juin 2002, la CIVAF a rejeté cette demande. Statuant sur recours le 22 octobre 2002, le Tribunal cantonal des assurances a confirmé la décision précitée du 10 juin 2002. Il a considéré, en substance, que l'intéressé ne pouvait pas exciper de sa bonne foi, qui était l'une des deux conditions cumulatives pour obtenir une remise de l'obligation de restituer l'indu, si bien qu'il s'est abstenu d'examiner si l'autre condition (situation difficile) était ou non réalisée. Statuant sur recours le 22 octobre 2002, le Tribunal cantonal des assurances a confirmé la décision précitée du 10 juin 2002. Il a considéré, en substance, que l'intéressé ne pouvait pas exciper de sa bonne foi, qui était l'une des deux conditions cumulatives pour obtenir une remise de l'obligation de restituer l'indu, si bien qu'il s'est abstenu d'examiner si l'autre condition (situation difficile) était ou non réalisée. D. Par mémoire du 22 novembre 2002, A.X._ a formé un recours de droit administratif auprès du Tribunal fédéral des assurances à l'encontre des jugements du Tribunal cantonal des assurances des 6 mai 2002 et 22 octobre 2002, dont il a demandé l'annulation. Il a également conclu à l'annulation des décisions de la CIVAF du 18 octobre 2001 et du 10 juin 2002. D. Par mémoire du 22 novembre 2002, A.X._ a formé un recours de droit administratif auprès du Tribunal fédéral des assurances à l'encontre des jugements du Tribunal cantonal des assurances des 6 mai 2002 et 22 octobre 2002, dont il a demandé l'annulation. Il a également conclu à l'annulation des décisions de la CIVAF du 18 octobre 2001 et du 10 juin 2002. E. Par arrêt du 12 août 2003 (cause H 316/02), le Tribunal fédéral des assurances a déclaré le recours irrecevable et transmis la cause au Tribunal fédéral comme objet de sa compétence. Il a considéré en bref que le litige devait être tranché uniquement sur la base du droit cantonal. La simple référence dans l'arrêt attaqué du 22 octobre 2002 à l'art. 47 al. 1 de la loi fédérale du 20 décembre 1946 sur l'assurance-vieillesse et survivants (LAVS; RS 831.10) relatif à la restitution de rentes et allocations pour impotents de l'AVS indûment touchées ne suffisait pas pour admettre que le jugement incriminé reposait sur le droit public fédéral, car une telle disposition de droit fédéral n'avait pas été appliquée comme telle, mais à titre de droit cantonal supplétif. F. Par lettre du 3 septembre 2003, le Président de la IIe Cour de droit public a informé A.X._ que seule la voie du recours de droit public pour arbitraire pouvait entrer en ligne de compte. La CIVAF conclut au rejet du recours du 22 novembre 2002. Le Tribunal cantonal des assurances a renoncé à se déterminer.