Faits: A. A._ est affiliée à KPT/CPT caisse-maladie SA (ci-après : la caisse) pour l'assurance obligatoire des soins en cas de maladie. Ayant présenté un carcinome multifocal au sein droit, elle a subi, le 2 février 2005, une quadrantectomie supéro-externe élargie avec curage axillaire du côté droit. Par lettre du 20 septembre 2007, le docteur B._, spécialiste FMH en chirurgie plastique, reconstructive et esthétique, consulté par l'assurée, a requis de la caisse la prise en charge de l'opération tendant à la reconstruction du sein droit et à la réduction du sein gauche, aux fins de pallier les suites de la quadrantectomie et l'asymétrie mammaire qui en était découlée. La caisse a demandé l'avis de son médecin-conseil, le docteur U._, spécialiste FMH en médecine interne et générale. Par décision du 13 mars 2008, confirmée sur opposition le 24 juin suivant, elle a refusé la prise en charge sollicitée, au motif que celle-ci visait un traitement esthétique, non couvert par l'assurance obligatoire des soins. B. Saisi d'un recours formé par A._ contre la décision sur opposition, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, l'a partiellement admis par jugement du 2 septembre 2010. Il a réformé la décision attaquée en ce sens qu'il a reconnu l'obligation de la caisse d'assumer les frais de la correction du sein droit et lui a renvoyé la cause pour instruction complémentaire et nouvelle décision concernant la prise en charge de la réduction du sein gauche. C. La caisse interjette un recours en matière de droit public contre ce jugement, dont elle demande principalement l'annulation et subsidiairement l'annulation partielle, en ce sens que seule la reconstruction du sein droit soit mise à sa charge. L'assurée, qui fournit une attestation de la doctoresse P._, conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.