Faits: A. X._ est propriétaire, dans la commune bernoise de Y._ (ci-après citée: la Commune), d'un établissement public à l'enseigne "A._", qui comprend un cabaret, un dancing, un restaurant et un motel. Par contrat de bail (non daté) portant sur la période du 1er mars 2002 au 28 février 2007, il a loué son établissement à dames B._ et C._ pour un loyer mensuel de 11'500 fr. (sans les charges). Pendant la durée du bail, la Commune a facturé les taxes périodiques liées à l'alimentation en eau potable et à l'évacuation des eaux usées directement aux exploitantes de l'établissement "A._". Après des rappels et des procédures de poursuite, dont l'une a abouti à la délivrance d'un acte de défaut de biens d'un montant de 3'251 fr. 50 pour des factures d'eau impayées des mois d'avril à septembre 2005, la Commune a informé X._, par lettre du 8 août 2008, qu'elle avait décidé, "en se basant sur les règlements relatifs à l'eau propre et à l'eau usée, d'encaisser auprès du propriétaire les arriérés de factures d'eau relatifs à (son) immeuble". Par décision du 11 août 2008, la Commune a réclamé à X._ le paiement d'une somme de 11'766 fr. 45. Ce montant correspond au solde, après déduction des acomptes versés par les exploitantes, d'une facture d'eau du 3 octobre 2006 (période du 1er juillet 2005 au 30 juin 2006), ainsi qu'à l'intégralité d'une facture du 30 mai 2007 (période du 1er juillet 2006 au 30 mars 2007). Saisi d'un recours contre cette décision, la Préfecture du district de Courtelary (entre-temps devenue la Préfecture du Jura Bernois; ci-après citée: la Préfecture) l'a rejeté le 12 janvier 2009. B. X._ a recouru contre la décision préfectorale précitée. En bref, il a soutenu que la Commune avait conclu avec ses locataires un contrat de droit administratif prévoyant, en dérogation à la réglementation communale, que ces dernières étaient seules débitrices des taxes litigieuses. Au cas où l'existence d'un tel contrat ne devait pas être admise, il a fait valoir qu'il ne devait de toute façon rien à la Commune, car celle-ci avait adopté un comportement contraire aux principes de la bonne foi et de la confiance en ne lui réclamant que tardivement d'acquitter les taxes litigieuses, soit après le défaut de paiement de ses locataires. Par arrêt du 6 septembre 2010, le Tribunal administratif du canton de Berne, Cour des affaires de langue française (ci-après: le Tribunal cantonal) a rejeté le recours. C. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt précité du Tribunal cantonal dont il requiert l'annulation, sous suite de frais et dépens. Il conclut à ce qu'il soit constaté qu'il ne doit pas la somme de 11'766 fr. 65 réclamée par la Commune ou, à titre subsidiaire, au renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants. Outre une constatation manifestement inexacte des faits, il reproche aux premiers juges de n'avoir pas retenu l'existence d'un contrat de droit administratif le libérant du paiement des taxes litigieuses. Il invoque également les principes de la protection de la bonne foi et de l'interdiction pour l'autorité d'adopter un comportement contradictoire. La Commune, le Tribunal cantonal et l'Administration fédérale des contributions renoncent à se déterminer sur le recours. La Préfecture conclut à son rejet et à la confirmation de l'arrêt attaqué.