Faits: A. S._, née en 1969, est gravement handicapée. Elle a été placée à la Fondation H._ à R._, dans le canton de Berne, qui est une institution pour handicapés. Ses papiers sont déposés à L._, canton de Vaud, où elle a grandi et où vivent ses parents. Elle passe un week-end sur deux ainsi que sept semaines entières dans l'année (vacances) auprès de ces derniers. S._ est affiliée auprès de la section vaudoise de la CPT Caisse-maladie pour l'assurance obligatoire des soins, ainsi que pour une assurance complémentaire des frais d'hospitalisation, classe de prestations 1 (division commune d'un hôpital dans toute la Suisse, pour autant que celui-ci ait été intégré dans la planification hospitalière du canton d'implantation). Le 28 juin 2003, l'assurée a été admise au Centre de psychiatrie de P._, dans le canton de Berne. Elle présentait alors un tableau psychotique avec mise en danger d'elle-même et de ses proches. Le 8 août 2003, le Centre psychiatrique de P._ a présenté à l'Etat de Vaud une demande de garantie de paiement pour un traitement hors du canton de résidence selon l'art. 41 al. 3 LAMal. Par décision du 2 septembre 2003, le Service cantonal vaudois de la santé publique a rejeté la demande, au motif que la patiente résidait dans le canton de Berne, de sorte que son admission à la clinique psychiatrique de P._ ne pouvait pas être considérée comme une hospitalisation extra-cantonale au sens de l'art. 41 al. 3 LAMal. B. Représentée par ses parents, V._ et D._, S._ a recouru contre cette décision auprès du Tribunal des assurances du canton de Vaud. La caisse-maladie CPT a été appelée en cause. Statuant le 24 mars 2004, le tribunal cantonal a rejeté le recours. C. Tant S._ que la caisse-maladie CPT ont interjeté un recours de droit administratif contre ce jugement. Toutes les deux concluent, en substance, à la prise en charge par l'Etat de Vaud de la différence entre les coûts facturés par le Centre de psychiatrie de P._ et les tarifs de cet établissement pour les habitants du canton de Berne. Le Service cantonal de la santé publique a conclu au rejet des recours. De son côté, l'Office fédéral de la santé publique n'a pas présenté d'observations.