Faits: Faits: A. A._ exploite en raison individuelle une entreprise spécialisée dans les domaines du chauffage, du sanitaire, de la couverture et de la ferblanterie. Il est affilié à la Caisse nationale suisse d'assurance en cas d'accidents (CNA) pour le paiement des cotisations à l'assurance-accident, et à la Caisse de compensation du canton du Valais (ci-après : la caisse) pour le paiement des cotisations AVS/AI/APG/AC. Entre 2000 et 2002, il a régulièrement confié en sous-traitance des travaux de ferblanterie à B._. A la suite d'un contrôle d'employeur concernant les années 1999 à 2002, la CNA a, par décision du 13 novembre 2003, confirmée sur opposition le 26 janvier 2004, réclamé à A._ le paiement de la somme de 6'567 fr. 30 au titre des cotisations à l'assurance-accidents dues sur les rémunérations versées à B._. La caisse en a fait de même par décision du 18 novembre 2003, confirmée sur opposition le 14 mai 2004, pour un montant total de cotisations de 16'424 fr. 50, dont 14'385 fr. 80 concernant le seul B._. La caisse en a fait de même par décision du 18 novembre 2003, confirmée sur opposition le 14 mai 2004, pour un montant total de cotisations de 16'424 fr. 50, dont 14'385 fr. 80 concernant le seul B._. B. A._ a déféré les décisions sur opposition au Tribunal cantonal des assurances du canton du Valais, qui, après avoir joint les procédures, l'a débouté par jugement du 3 août 2004. B. A._ a déféré les décisions sur opposition au Tribunal cantonal des assurances du canton du Valais, qui, après avoir joint les procédures, l'a débouté par jugement du 3 août 2004. C. A._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation, concluant à ce qu'il soit constaté que B._ exerce une activité indépendante. Subsidiairement, il conclut au renvoi de la cause au Tribunal cantonal des assurances du canton du Valais pour nouveau jugement au sens des considérants. Le Tribunal fédéral des assurances a procédé à deux échanges d'écritures séparés, l'un concernant le litige opposant A._ à la CNA (U 302/04), l'autre concernant le litige opposant le prénommé à la Caisse de compensation du canton du Valais (H 169/04). La CNA, respectivement la caisse, concluent au rejet du recours, tandis que l'Office fédéral de la santé publique, respectivement l'Office fédéral des assurances sociales, ont renoncé à se déterminer. Le courrier invitant B._ à se déterminer en qualité d'intéressé n'a pas pu être distribué.