Faits:
A. Par contrat du 2 avril 2003, la SI X._ SA (ci-après: la bailleresse) a remis à bail à Y._ SA (ci-après: la locataire) des locaux commerciaux d'environ 331 m2 au 3ème étage de l'immeuble sis *** à Genève; le bail a été prolongé, par avenant du 2 août 2006, jusqu'au 30 septembre 2013.
Le loyer annuel, charges non comprises, a été porté en dernier lieu à 80'064 fr. Le contrat fixait à, respectivement, 3'912 fr. et 16'164 fr. les acomptes provisionnels annuels de charges de chauffage, eau chaude et climatisation, ainsi que de frais accessoires.
Le 2 avril 2003 également, les parties ont encore conclu une "convention relative aux services de chauffage, eau chaude et climatisation" prévoyant notamment que le décompte de charges serait établi périodiquement "selon une clé de répartition fixée par l'installateur".
Les décomptes de charges et de frais accessoires 2003-2004 (soit un total de 22'447 fr.) et 2004-2005 (soit un total de 22'543 fr.) ont été adressés à la locataire à une date indéterminée. Les soldes encore dus ont été réglés.
Dans un courrier du 26 septembre 2006, la locataire s'est adressée à la régie en charge de l'immeuble afin que la clé de répartition des charges et frais accessoires lui soit remise.
La clé de répartition, communiquée par courrier du 5 octobre 2006, indiquait les chiffres suivants, s'agissant de Y._ SA:
"Surface : 330,8 m2 / Volume : 860,08 m3 / Hauteur : 2,6 m / Coefficient chauffage (surface) : 47.78 o/oo / Coefficient chauffage (volume) : 45.25 o/oo"
Par courrier électronique du 9 octobre 2006, la locataire s'est alors plainte auprès de la bailleresse, indiquant: "il semble erroné que Y._ ait à supporter plus de dix pour cent des frais accessoires etc... alors que nous occupons moins de cinq pour cent de la superficie et du cubage de l'immeuble". Elle demandait à la régie de bien vouloir examiner la question et "1) de [lui] communiquer la proportion et la base de calcul en 20'000èmes, 2) de rectifier la proportion en 20'000èmes qui [lui était] attribuée, 3) de [lui] bonifier du trop perçu (sic !)".
Le 30 novembre 2006, la bailleresse a adressé à la locataire le décompte de charges et frais accessoires pour la période 2005-2006 (soit un total de 22'204 fr.), indiquant le solde qui lui était encore dû. La locataire, après avoir contesté à demi-mot ce décompte et relancé la bailleresse au sujet de sa précédente requête, s'est acquittée du solde réclamé.
S'en sont suivis plusieurs échanges de correspondances entre les parties, au cours desquels la représentante de la bailleresse a indiqué avoir mandaté une entreprise de chauffage spécialisée pour vérifier les mesures des surfaces et établir une nouvelle clé de répartition, qui serait appliquée dès la période 2006-2007.
Le 21 novembre 2007, la bailleresse, par sa régie, admettait qu'une erreur dans la clé de répartition entachait les décomptes de charges et frais accessoires relatifs aux périodes 2003-2004, 2004-2005 et 2005-2006. Elle précisait que le remboursement des locataires ayant versé des sommes trop importantes ne pourrait se faire que lorsqu'elle aurait pu recouvrer les montants correspondants auprès des locataires qui n'avaient pas payé des charges suffisantes.
Le 15 février 2008, la bailleresse a notifié un avis de modification de bail aux locataires de l'immeuble afin d'introduire dès le 1er mai 2008 la nouvelle clé de répartition. Celle-ci contenait les données suivantes:
"Surface : 330,8 m2 / Volume : 860,08 m3 / Hauteur : 2,6 m / Coefficient chauffage (surface) : 47.79 o/oo / Coefficient chauffage (volume) : 45.22 o/oo"
L'avis de modification a fait l'objet d'une contestation par la locataire auprès de la Commission de conciliation en matière de baux et loyers. Dans sa requête, la locataire observait que la nouvelle clé de répartition était pratiquement identique à la précédente. Selon elle, cela signifiait sans doute que la bailleresse commettait une erreur en appliquant la clé de répartition lors du calcul des charges.
Par courrier du 8 mai 2008, la bailleresse fournissait pour la première fois à la locataire un tableau indiquant que le pourcentage de charges dû par la locataire avait été calculé à 4,78% avec la nouvelle clé de répartition, alors que le pourcentage - incorrect - qui avait été appliqué jusqu'alors à la surface louée par l'intimée avait été de 10,34%.
B. B.a Le 23 juin 2008, la locataire a déposé une requête auprès de la Commission de conciliation en matière de baux et loyers. La conciliation ayant échoué, elle a procédé devant le Tribunal des baux et loyers du canton de Genève concluant notamment à ce que la bailleresse soit condamnée à lui payer 57'722 fr. - montant finalement ramené à 43'874 fr. suite au remboursement partiel effectué par la bailleresse (correspondant aux exercices 2006-2007 et 2007-2008) - à titre de trop-perçu de charges et de frais accessoires pour les exercices 2003 à 2008.
La bailleresse a soulevé une objection de prescription des créances fondant la requête de la locataire et conclu au déboutement de cette dernière de toutes ses conclusions.
Par jugement du 10 mars 2009, le Tribunal des baux et loyers a rejeté la demande, considérant que le délai de prescription d'une année (à compter du jour où la partie lésée a eu connaissance de son droit à répétition) de l'<ref-law> était applicable, qu'il avait commencé à courir le 9 octobre 2006 (date à laquelle la locataire a adressé un courrier électronique à la bailleresse afin de relever le défaut de la clé de répartition) et que les prétentions élevées par la locataire étaient ainsi prescrites au moment de l'introduction de la procédure.
La décision de première instance a été annulée par arrêt prononcé le 18 janvier 2010 par la Cour de justice du canton de Genève. Celle-ci a considéré que les prétentions de la locataire n'étaient pas prescrites du fait que le dies a quo de la prescription annale de l'<ref-law> était le 8 mai 2008.
Statuant par arrêt du 15 mars 2010 (4A_139/2010) sur recours en matière civile formé par la bailleresse, le Tribunal fédéral a déclaré le recours irrecevable. Il a jugé qu'un recours immédiat contre l'arrêt cantonal du 18 janvier 2010 n'était pas ouvert sur la base de l'<ref-law>.
B.b Dans un nouveau jugement prononcé le 15 septembre 2010, le Tribunal des baux et loyers a condamné la bailleresse à rembourser à la locataire 12'070 fr.45 pour l'exercice 2003-2004, 12'123 fr. 10 pour l'exercice 2004-2005 et 11'938 fr.95 pour l'exercice 2005-2006, intérêts en sus. Pour obtenir ces chiffres, la première instance a recalculé les charges individualisées de la locataire en les réduisant à la proportion de 4,78% des charges globales de l'immeuble.
La Cour de justice du canton de Genève, par arrêt du 14 mars 2011, a rejeté l'appel formé par la bailleresse et confirmé le jugement entrepris.
C. La bailleresse exerce un recours en matière civile contre l'arrêt cantonal du 14 mars 2011. Elle conclut à son annulation et au déboutement de la locataire de toutes ses conclusions, sous suite de frais et dépens. Elle invoque une violation des art. 128 et 67 CO, ainsi que de l'interdiction de l'arbitraire garanti par l'art. 9 Cst.
L'intimée conclut à ce que la recourante soit déboutée de toutes ses conclusions et à la confirmation de l'arrêt attaqué, sous suite de frais et dépens.
L'effet suspensif sollicité par la recourante a été rejeté par ordonnance présidentielle du 30 mai 2011.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a été condamnée à paiement (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse dépasse le seuil de 15'000 fr. requis en matière de droit du bail (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. a, 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. La notion de droit fédéral englobe également les droits constitutionnels (<ref-ruling> consid. 2.4 p. 313).
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2.2.1 p. 389; <ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>). En l'occurrence, la recourante se borne à invoquer, dans l'énumération de ses moyens, la transgression du "principe de la protection contre l'arbitraire garanti par l'art. 9 de la Constitution fédérale suisse", sans fournir le début d'une motivation quant à ce grief. Celui-ci est dès lors irrecevable.
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 8.1 p. 153; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées; à défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). La recourante ne peut demander une rectification de l'état de fait que si celle-ci est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, la recourante entreprend, aux pages 6 à 14 de son mémoire, un exposé des faits, en mentionnant diverses pièces du dossier à titre de "preuve". Dès lors qu'elle n'invoque pas l'arbitraire (art. 9 Cst.) et ne démontre pas, de manière précise, avec référence à des pièces du dossier, qu'un fait aurait été constaté ou omis de manière insoutenable, il n'y a pas lieu d'en tenir compte et le raisonnement doit être mené sur la base de l'état de fait contenu dans la décision attaquée.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 La recourante revient sur la question de la prescription des prétentions de l'intimée qui était, selon elle, acquise lorsque cette dernière a déposé sa requête devant la Commission de conciliation en matière de baux et loyers. Elle rappelle avoir recouru au Tribunal fédéral contre l'arrêt du 18 janvier 2010 de la Cour de justice qui a conclu que les prétentions de la locataire n'étaient pas prescrites lorsqu'elle a déposé sa requête. Dans son arrêt du 15 mars 2010 (4A_139/2010), le Tribunal fédéral ne s'est pas prononcé sur le fond, le recours n'étant pas recevable sur la base de l'<ref-law>.
L'arrêt cantonal du 14 mars 2011 étant une décision finale (cf. supra consid. 1.1), la Cour de céans peut aujourd'hui examiner les griefs invoqués par la recourante en rapport avec la question de la prescription des prétentions de la locataire.
La recourante observe que l'intimée n'a pas contesté les soldes des décomptes des exercices 2003-2004 et 2004-2005 et qu'elle les a entièrement payés. Elle ajoute que, bien que la locataire ait demandé l'ajustement du décompte 2005-2006 (donc qu'elle ait contesté celui-ci à demi-mot), elle s'est néanmoins acquittée entièrement du solde. Elle en déduit que le délai de prescription de l'<ref-law> n'est pas applicable en l'espèce et qu'il convient d'examiner l'exception de prescription sur la base de l'<ref-law>.
2.2 Dans un arrêt du 29 avril 2002, le Tribunal fédéral s'est penché sur la question de la prescription d'une prétention en répétition d'acomptes de charges ou frais accessoires payés en trop; il a distingué deux hypothèses: avant la présentation du décompte (comprenant la présentation du solde) et son acceptation par l'autre partie, l'erreur doit être corrigée selon les règles contractuelles, de sorte que le délai de prescription est de cinq ans, en vertu de l'<ref-law>; après l'établissement du décompte et son acceptation, la correction du décompte et la prétention en découlant se fait sur la base des dispositions en matière d'enrichissement illégitime, de sorte que le délai (relatif) est d'une année (<ref-law>) (arrêt 4C.24/2002 du 29 avril 2002 consid. 3.3).
En l'espèce, il n'est pas nécessaire de déterminer si l'on se trouve, en particulier en ce qui concerne le décompte relatif à la période 2005-2006 contesté à demi-mot par la locataire, dans le cadre de la première ou de la seconde hypothèse visées par l'arrêt du Tribunal fédéral susmentionné. Dans les deux cas, la prescription n'était pas acquise au moment de l'introduction de la requête devant la Commission de conciliation.
En effet, à supposer que les décomptes - en particulier celui relatif à l'exercice 2005-2006 - n'aient pas été acceptés (première hypothèse), la prescription applicable de cinq ans (<ref-law>) n'est manifestement pas atteinte.
2.3 Si l'on considère (deuxième hypothèse) que les décomptes ont au contraire été acceptés par la locataire, la prescription annale de l'<ref-law> n'est, ainsi qu'on le verra ci-après, pas non plus atteinte.
2.3.1 Selon l'<ref-law>, l'action pour cause d'enrichissement illégitime se prescrit par un an à compter du jour où la partie lésée a eu connaissance de son droit de répétition, et, dans tous les cas, par dix ans dès la naissance de ce droit.
La connaissance propre à faire courir le délai annal de l'<ref-law> existe lorsque le créancier a acquis un tel degré de certitude sur les faits qui fondent son droit à répétition que l'on peut dire, selon les règles de la bonne foi, qu'il n'a plus de raison ou n'a plus de possibilité de recueillir d'avantage d'informations supplémentaires et qu'il dispose de suffisamment d'éléments pour ouvrir action, de telle sorte qu'on peut raisonnablement attendre de lui qu'il le fasse (<ref-ruling> consid. 4b p. 427). La certitude relative au droit de répétition suppose la connaissance de l'étendue approximative de l'atteinte au patrimoine, de l'absence de cause du déplacement patrimonial et de la personne de l'enrichi (<ref-ruling> consid. 3.4 p. 506). Contrairement à la réglementation prévue par l'<ref-law> pour l'erreur, peu importe le moment auquel le lésé aurait pu connaître son droit de répétition en faisant preuve de l'attention commandée par les circonstances; seule compte la connaissance effective de la prétention (<ref-ruling> consid. 2 p. 434 s.). On exige toutefois du créancier qui connaît les éléments essentiels de sa prétention qu'il se renseigne sur les détails et recueille les données précises dont il a besoin pour mener la procédure (<ref-ruling> consid. 3.4 p. 505 s. et les références).
2.3.2 En l'espèce, on ne peut pas suivre la recourante lorsqu'elle soutient que l'intimée disposait de tous les éléments lui permettant de fonder une prétention pour enrichissement illégitime dès le 5 octobre 2006.
Selon les constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) -, la locataire a reçu à cette date la clé de répartition des charges et frais accessoires. Dotée de cette information, elle pouvait certes se rendre compte que les décomptes qu'elle avait reçus étaient basés sur un pourcentage différent de celui correspondant à la clé de répartition; la locataire a d'ailleurs rapidement (soit le 9 octobre 2006) exprimé ses doutes à la bailleresse, lui indiquant qu'il lui "[semblait] erroné qu'[elle] ait à supporter plus de dix pour cent des frais accessoires etc... alors qu'[elle occupait] moins de cinq pour cent de la superficie et du cubage de l'immeuble". La bailleresse n'ayant donné aucune réponse à la locataire, celle-ci est toutefois restée dans l'incertitude; en particulier, elle n'était pas à même de savoir si la différence constatée était due à une application erronée, par la bailleresse, de la clé de répartition communiquée le 5 octobre 2006 ou à une erreur dans la fixation même de cette clé. Il résulte d'ailleurs des faits établis par la cour précédente que la locataire n'a alors eu de cesse de solliciter de sa bailleresse qu'elle recherche l'erreur affectant les décomptes, la première requête en ce sens ressortant de ce même courrier électronique du 9 octobre 2006.
La bailleresse est mal venue de plaider que la locataire disposait des informations nécessaires et qu'il lui suffisait de vérifier les charges et les frais accessoires dus en appliquant la clé de répartition communiquée le 5 octobre 2006, puis en comparant le résultat obtenu avec les décomptes litigieux. Il ressort des constatations cantonales qu'elle doutait elle-même de l'exactitude de la clé de répartition appliquée jusqu'alors puisqu'elle a mandaté, après que la locataire l'a relancé au sujet du problème des décomptes, une entreprise spécialisée pour vérifier les mesures des surfaces et établir une nouvelle clé de répartition.
Cela étant, on ne saurait dire que la locataire disposait, dès le 5 octobre 2006, de suffisamment d'éléments pour ouvrir une action judiciaire. En particulier, elle n'avait encore aucune certitude s'agissant de l'erreur commise et, partant, de l'étendue approximative de l'atteinte à son patrimoine.
Les échanges de correspondances qui s'en sont suivis dès la fin 2006 n'ont pas apporté plus d'informations utiles à la locataire. Il n'en va pas différemment du courrier du 21 novembre 2007; la recourante a admis qu'une erreur entachait les décomptes de charges et de frais accessoires et a parlé d'une "erreur dans la clé de répartition", sans toutefois donner les informations nécessaires permettant à la locataire de comprendre le montant qu'elle aurait versé de façon indue à la bailleresse.
Il a fallu attendre le 8 mai 2008 pour que la bailleresse communique à la locataire l'information lui permettant d'écarter toute incertitude et de comprendre l'erreur qui avait été commise, soit un tableau qui indiquait que le pourcentage de charges dû par la locataire avait été calculé à 4,78% avec la nouvelle clé de répartition, alors que le pourcentage - incorrect - qui avait été appliqué jusqu'alors à la surface louée par l'intimée avait été de 10,34%. Le délai d'une année de l'<ref-law> a commencé à courir dès le 8 mai 2008 et la prescription n'était donc pas acquise lorsque la locataire a introduit sa requête, le 23 juin 2008, devant la Commission de conciliation en matière de baux et loyers.
On pourrait se demander, au regard des circonstances d'espèce, s'il n'eût pas fallu retenir la date de réception de l'avis de modification du bail du 15 février 2008, auquel était jointe la nouvelle clé de répartition, comme dies a quo du délai de prescription de l'<ref-law>, dans la mesure où cette communication a permis à l'intimée de comprendre que l'erreur consistait en l'application erronée de la clé de répartition (thèse confirmée par la communication de la bailleresse du 8 mai 2008). La question peut toutefois rester indécise puisque, même à admettre une réponse positive, la prescription ne serait pas non plus acquise.
Le grief selon lequel la Cour de justice aurait admis à tort que la prescription n'était pas acquise doit être déclaré mal fondé.
3. La recourante est enfin d'avis que la locataire n'est pas fondée à obtenir la restitution des charges payées, l'une des conditions d'application de l'<ref-law> n'étant pas réalisée. Elle soutient en effet qu'elle ne se trouve pas enrichie par les prestations versées par l'intimée, puisque d'autres locataires de l'immeuble ont payé moins de charges; le décompte total des charges et frais serait ainsi "juste et incontestable dans sa globalité".
La critique de la recourante est sans consistance.
Son argumentation revient à examiner, dans l'application de l'<ref-law>, exclusivement la situation patrimoniale de l'enrichi; dans cette perspective, la recourante, qui a été "appauvrie" dans le cadre de ses rapports contractuels avec d'autres locataires (tiers), n'aurait en l'occurrence subi aucun enrichissement. La recourante adopte ainsi un raisonnement totalement étranger à la lettre et à l'esprit de la disposition qu'elle invoque puisque, selon l'<ref-law>, l'enrichissement doit avoir lieu "aux dépens d'autrui". Lorsque, comme en l'espèce, l'enrichissement résulte d'un acte de l'appauvri (Leistungskondiktion), il doit exister un lien de connexité entre l'enrichissement de l'un et l'appauvrissement de l'autre (sur l'ensemble de la question: HERMAN SCHULIN, in Basler Kommentar, Obligationenrecht I, no 8 s. ad <ref-law> et les références; GILLES PETITPIERRE, in Commentaire romand, Code des obligations I, no 11 s. ad <ref-law>); il convient ainsi de tenir compte du déplacement d'une valeur (en l'occurrence des montants payés à titre de charges et frais accessoires) du patrimoine de l'appauvrie (la locataire) à celui de l'enrichie (la bailleresse) et non de faire intervenir des personnes étrangères à cette relation.
Quant au montant de l'enrichissement, tel qu'établi par la première instance et confirmé par la Cour de justice, celui-ci n'est plus discuté devant la Cour de céans et il n'y a pas lieu d'y revenir (cf. supra consid. 1.2).
4. Il ressort des considérants qui précèdent que le recours en matière civile doit être rejeté dans la mesure où il est recevable.
Les frais judiciaires et les dépens sont mis à la charge de la recourante qui succombe (art. 66 al. 1, 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de la recourante.
3. La recourante versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre d'appel en matière de baux et loyers du canton de Genève.
Lausanne, le 29 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget