Faits: A. Par contrat du 2 avril 2003, la SI X._ SA (ci-après: la bailleresse) a remis à bail à Y._ SA (ci-après: la locataire) des locaux commerciaux d'environ 331 m2 au 3ème étage de l'immeuble sis *** à Genève; le bail a été prolongé, par avenant du 2 août 2006, jusqu'au 30 septembre 2013. Le loyer annuel, charges non comprises, a été porté en dernier lieu à 80'064 fr. Le contrat fixait à, respectivement, 3'912 fr. et 16'164 fr. les acomptes provisionnels annuels de charges de chauffage, eau chaude et climatisation, ainsi que de frais accessoires. Le 2 avril 2003 également, les parties ont encore conclu une "convention relative aux services de chauffage, eau chaude et climatisation" prévoyant notamment que le décompte de charges serait établi périodiquement "selon une clé de répartition fixée par l'installateur". Les décomptes de charges et de frais accessoires 2003-2004 (soit un total de 22'447 fr.) et 2004-2005 (soit un total de 22'543 fr.) ont été adressés à la locataire à une date indéterminée. Les soldes encore dus ont été réglés. Dans un courrier du 26 septembre 2006, la locataire s'est adressée à la régie en charge de l'immeuble afin que la clé de répartition des charges et frais accessoires lui soit remise. La clé de répartition, communiquée par courrier du 5 octobre 2006, indiquait les chiffres suivants, s'agissant de Y._ SA: "Surface : 330,8 m2 / Volume : 860,08 m3 / Hauteur : 2,6 m / Coefficient chauffage (surface) : 47.78 o/oo / Coefficient chauffage (volume) : 45.25 o/oo" Par courrier électronique du 9 octobre 2006, la locataire s'est alors plainte auprès de la bailleresse, indiquant: "il semble erroné que Y._ ait à supporter plus de dix pour cent des frais accessoires etc... alors que nous occupons moins de cinq pour cent de la superficie et du cubage de l'immeuble". Elle demandait à la régie de bien vouloir examiner la question et "1) de [lui] communiquer la proportion et la base de calcul en 20'000èmes, 2) de rectifier la proportion en 20'000èmes qui [lui était] attribuée, 3) de [lui] bonifier du trop perçu (sic !)". Le 30 novembre 2006, la bailleresse a adressé à la locataire le décompte de charges et frais accessoires pour la période 2005-2006 (soit un total de 22'204 fr.), indiquant le solde qui lui était encore dû. La locataire, après avoir contesté à demi-mot ce décompte et relancé la bailleresse au sujet de sa précédente requête, s'est acquittée du solde réclamé. S'en sont suivis plusieurs échanges de correspondances entre les parties, au cours desquels la représentante de la bailleresse a indiqué avoir mandaté une entreprise de chauffage spécialisée pour vérifier les mesures des surfaces et établir une nouvelle clé de répartition, qui serait appliquée dès la période 2006-2007. Le 21 novembre 2007, la bailleresse, par sa régie, admettait qu'une erreur dans la clé de répartition entachait les décomptes de charges et frais accessoires relatifs aux périodes 2003-2004, 2004-2005 et 2005-2006. Elle précisait que le remboursement des locataires ayant versé des sommes trop importantes ne pourrait se faire que lorsqu'elle aurait pu recouvrer les montants correspondants auprès des locataires qui n'avaient pas payé des charges suffisantes. Le 15 février 2008, la bailleresse a notifié un avis de modification de bail aux locataires de l'immeuble afin d'introduire dès le 1er mai 2008 la nouvelle clé de répartition. Celle-ci contenait les données suivantes: "Surface : 330,8 m2 / Volume : 860,08 m3 / Hauteur : 2,6 m / Coefficient chauffage (surface) : 47.79 o/oo / Coefficient chauffage (volume) : 45.22 o/oo" L'avis de modification a fait l'objet d'une contestation par la locataire auprès de la Commission de conciliation en matière de baux et loyers. Dans sa requête, la locataire observait que la nouvelle clé de répartition était pratiquement identique à la précédente. Selon elle, cela signifiait sans doute que la bailleresse commettait une erreur en appliquant la clé de répartition lors du calcul des charges. Par courrier du 8 mai 2008, la bailleresse fournissait pour la première fois à la locataire un tableau indiquant que le pourcentage de charges dû par la locataire avait été calculé à 4,78% avec la nouvelle clé de répartition, alors que le pourcentage - incorrect - qui avait été appliqué jusqu'alors à la surface louée par l'intimée avait été de 10,34%. B. B.a Le 23 juin 2008, la locataire a déposé une requête auprès de la Commission de conciliation en matière de baux et loyers. La conciliation ayant échoué, elle a procédé devant le Tribunal des baux et loyers du canton de Genève concluant notamment à ce que la bailleresse soit condamnée à lui payer 57'722 fr. - montant finalement ramené à 43'874 fr. suite au remboursement partiel effectué par la bailleresse (correspondant aux exercices 2006-2007 et 2007-2008) - à titre de trop-perçu de charges et de frais accessoires pour les exercices 2003 à 2008. La bailleresse a soulevé une objection de prescription des créances fondant la requête de la locataire et conclu au déboutement de cette dernière de toutes ses conclusions. Par jugement du 10 mars 2009, le Tribunal des baux et loyers a rejeté la demande, considérant que le délai de prescription d'une année (à compter du jour où la partie lésée a eu connaissance de son droit à répétition) de l'art. 67 al. 1 CO était applicable, qu'il avait commencé à courir le 9 octobre 2006 (date à laquelle la locataire a adressé un courrier électronique à la bailleresse afin de relever le défaut de la clé de répartition) et que les prétentions élevées par la locataire étaient ainsi prescrites au moment de l'introduction de la procédure. La décision de première instance a été annulée par arrêt prononcé le 18 janvier 2010 par la Cour de justice du canton de Genève. Celle-ci a considéré que les prétentions de la locataire n'étaient pas prescrites du fait que le dies a quo de la prescription annale de l'art. 67 al. 1 CO était le 8 mai 2008. Statuant par arrêt du 15 mars 2010 (4A_139/2010) sur recours en matière civile formé par la bailleresse, le Tribunal fédéral a déclaré le recours irrecevable. Il a jugé qu'un recours immédiat contre l'arrêt cantonal du 18 janvier 2010 n'était pas ouvert sur la base de l'art. 93 al. 1 LTF. B.b Dans un nouveau jugement prononcé le 15 septembre 2010, le Tribunal des baux et loyers a condamné la bailleresse à rembourser à la locataire 12'070 fr.45 pour l'exercice 2003-2004, 12'123 fr. 10 pour l'exercice 2004-2005 et 11'938 fr.95 pour l'exercice 2005-2006, intérêts en sus. Pour obtenir ces chiffres, la première instance a recalculé les charges individualisées de la locataire en les réduisant à la proportion de 4,78% des charges globales de l'immeuble. La Cour de justice du canton de Genève, par arrêt du 14 mars 2011, a rejeté l'appel formé par la bailleresse et confirmé le jugement entrepris. C. La bailleresse exerce un recours en matière civile contre l'arrêt cantonal du 14 mars 2011. Elle conclut à son annulation et au déboutement de la locataire de toutes ses conclusions, sous suite de frais et dépens. Elle invoque une violation des art. 128 et 67 CO, ainsi que de l'interdiction de l'arbitraire garanti par l'art. 9 Cst. L'intimée conclut à ce que la recourante soit déboutée de toutes ses conclusions et à la confirmation de l'arrêt attaqué, sous suite de frais et dépens. L'effet suspensif sollicité par la recourante a été rejeté par ordonnance présidentielle du 30 mai 2011.