Faits: A. La Société X._, qui a son siège à Martigny, occupe depuis plusieurs années des agents salariés dans toute la Suisse, notamment dans le canton de Berne. Ces employés étaient affiliés à la Caisse interprofessionnelle valaisanne d'allocations familiales (CIVAF) jusqu'au 31 décembre 2005. Le 6 décembre 2005, La Société X._ a demandé son affiliation à la Caisse de compensation du canton de Berne (CCB), à partir du 1er janvier 2006, pour tous ses agents exerçant leur activité dans le canton de Berne. Par décision du 13 décembre 2007, la CCB a rendu une décision d'affiliation pour les années 2002 à 2005 (soit dans les limites du délai quinquennal de prescription) pour les collaborateurs de la Société X._ employés dans le canton de Berne. Les cotisations correspondant aux années en question ont été fixées en même temps à 59'925 fr. 25. B. La Société X._ a recouru contre cette décision devant le Tribunal administratif du canton de Berne. Il a déposé une attestation de la CIVAF, selon laquelle les agents de la Société X._ en Suisse avaient été déclarés à cette caisse pour les années 2001 à 2005; celle-ci avait versé aux ayants droit les allocations familiales selon le droit du canton du Valais, bien qu'ils fussent domiciliés dans d'autres cantons. Statuant le 9 février 2009, le Tribunal administratif a rejeté le recours. C. La Société X._ a formé un recours en matière de droit public dans lequel il a conclu à l'annulation de ce jugement et de la décision administrative précédente. Le Tribunal administratif s'est déterminé sur le recours. La CCB en a fait de même et elle a conclu à son rejet.