Faits:
A. X._ est propriétaire, dans la commune bernoise de Y._ (ci-après citée: la Commune), d'un établissement public à l'enseigne "A._", qui comprend un cabaret, un dancing, un restaurant et un motel. Par contrat de bail (non daté) portant sur la période du 1er mars 2002 au 28 février 2007, il a loué son établissement à dames B._ et C._ pour un loyer mensuel de 11'500 fr. (sans les charges).
Pendant la durée du bail, la Commune a facturé les taxes périodiques liées à l'alimentation en eau potable et à l'évacuation des eaux usées directement aux exploitantes de l'établissement "A._". Après des rappels et des procédures de poursuite, dont l'une a abouti à la délivrance d'un acte de défaut de biens d'un montant de 3'251 fr. 50 pour des factures d'eau impayées des mois d'avril à septembre 2005, la Commune a informé X._, par lettre du 8 août 2008, qu'elle avait décidé, "en se basant sur les règlements relatifs à l'eau propre et à l'eau usée, d'encaisser auprès du propriétaire les arriérés de factures d'eau relatifs à (son) immeuble".
Par décision du 11 août 2008, la Commune a réclamé à X._ le paiement d'une somme de 11'766 fr. 45. Ce montant correspond au solde, après déduction des acomptes versés par les exploitantes, d'une facture d'eau du 3 octobre 2006 (période du 1er juillet 2005 au 30 juin 2006), ainsi qu'à l'intégralité d'une facture du 30 mai 2007 (période du 1er juillet 2006 au 30 mars 2007). Saisi d'un recours contre cette décision, la Préfecture du district de Courtelary (entre-temps devenue la Préfecture du Jura Bernois; ci-après citée: la Préfecture) l'a rejeté le 12 janvier 2009.
B. X._ a recouru contre la décision préfectorale précitée. En bref, il a soutenu que la Commune avait conclu avec ses locataires un contrat de droit administratif prévoyant, en dérogation à la réglementation communale, que ces dernières étaient seules débitrices des taxes litigieuses. Au cas où l'existence d'un tel contrat ne devait pas être admise, il a fait valoir qu'il ne devait de toute façon rien à la Commune, car celle-ci avait adopté un comportement contraire aux principes de la bonne foi et de la confiance en ne lui réclamant que tardivement d'acquitter les taxes litigieuses, soit après le défaut de paiement de ses locataires.
Par arrêt du 6 septembre 2010, le Tribunal administratif du canton de Berne, Cour des affaires de langue française (ci-après: le Tribunal cantonal) a rejeté le recours.
C. X._ forme un recours en matière de droit public auprès du Tribunal fédéral contre l'arrêt précité du Tribunal cantonal dont il requiert l'annulation, sous suite de frais et dépens. Il conclut à ce qu'il soit constaté qu'il ne doit pas la somme de 11'766 fr. 65 réclamée par la Commune ou, à titre subsidiaire, au renvoi de la cause à l'autorité cantonale pour nouveau jugement dans le sens des considérants. Outre une constatation manifestement inexacte des faits, il reproche aux premiers juges de n'avoir pas retenu l'existence d'un contrat de droit administratif le libérant du paiement des taxes litigieuses. Il invoque également les principes de la protection de la bonne foi et de l'interdiction pour l'autorité d'adopter un comportement contradictoire.
La Commune, le Tribunal cantonal et l'Administration fédérale des contributions renoncent à se déterminer sur le recours. La Préfecture conclut à son rejet et à la confirmation de l'arrêt attaqué.

Considérant en droit:
1. Le recours est dirigé contre un jugement final (cf. <ref-law>) rendu dans une cause de droit public (cf. <ref-law>) par un tribunal cantonal supérieur (cf. art. 86 al. 1 lettre d et al. 2 LTF), sans que l'on se trouve dans l'un des cas d'exceptions mentionnés par l'<ref-law>. Il a en outre été déposé dans le délai (cf. <ref-law>) et en la forme (cf. <ref-law>) prévus par la loi. Enfin, comme destinataire de l'arrêt attaqué, le recourant a qualité pour recourir (<ref-law>).
Partant, le recours est recevable.
2. Sauf dans les cas cités expressément à l'<ref-law> (non pertinents en l'espèce), le recours en matière de droit public ne peut pas être formé pour violation du droit cantonal (ou communal) en tant que tel. Il est seulement possible de faire valoir que la mauvaise application du droit cantonal (ou communal) constitue une violation du droit fédéral, en particulier qu'elle est arbitraire (art. 9 Cst.) ou contraire à d'autres droits constitutionnels (cf. <ref-ruling> consid. 2.3 p. 466 et les arrêts cités). Le Tribunal fédéral n'examinera toutefois les moyens fondés sur la violation d'un droit constitutionnel que s'ils ont été invoqués et motivés de manière précise (principe de l'allégation déduit de l'<ref-law>; cf. <ref-ruling> consid. 1.3.1 p. 68; <ref-ruling> consid. 1.3 p. 316; <ref-ruling> consid. 1 p. 95).
Le Tribunal fédéral procède à son examen en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - soit arbitraire (<ref-ruling> consid. 4.3 p. 63) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des faits retenus par l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law> en lien avec l'<ref-law>; cf. <ref-ruling> consid. 5.2.2 p. 322; <ref-ruling> consid. 1.4 p. 254 s. et les arrêts cités).
3. Dans un premier moyen, le recourant se plaint de constatation manifestement inexacte des faits pertinents. Cependant, toute sa démonstration s'épuise à rappeler les faits constatés par les premiers juges pour en déduire, selon ses termes, "qu'il était manifestement arbitraire de la part du Tribunal administratif de considérer que cette conjonction de faits, tous tenus pour établis par le Tribunal, ne permettait pas au recourant de conclure qu'il était libéré du paiement des taxes d'eau pour son immeuble." Autrement dit, le recourant cherche à tirer des faits souverainement constatés au plan cantonal d'autres conséquences juridiques que les premiers juges. Son grief est dès lors irrecevable en tant que contestation des faits, faute de démonstration de leur caractère arbitraire. Pour le surplus, ses critiques ne relèvent pas du fait mais du droit et seront examinées ci-après, dans la mesure où, s'agissant du droit cantonal, le recourant formule une motivation remplissant les exigences de l'<ref-law> (cf. supra consid. 2).
4. 4.1 Le Tribunal cantonal a fondé les obligations financières du recourant à l'égard de la Commune sur la base, d'une part, du Règlement concernant l'alimentation en eau du 17 janvier 2000 (ci-après cité: RAE) et, d'autre part, du Règlement d'assainissement des eaux usées du 14 janvier 2000 (ci-après cité: RAss). Ces textes, entrés en vigueur respectivement le 1er janvier 2000 et le 1er janvier 2002, sont applicables au présent cas, car leur remplacement le 1er janvier 2008 par de nouveaux règlements est postérieur à la naissance des créances litigieuses.
4.2 A raison, le recourant ne conteste pas que les règlements communaux précités le désignent, en sa qualité de propriétaire, comme seul débiteur des taxes périodiques liées à l'alimentation en eau potable et à l'évacuation des eaux usées de son immeuble (cf. art. 51 al. 1 RAE en lien avec l'art. 11 al. 2 RAE et art. 35 RAss). Il estime toutefois qu'en dérogation à cette règlementation, la Commune a valablement conclu un contrat de droit administratif avec ses locataires prévoyant que ces dernières sont les "seules et uniques débitrices (des taxes), à l'exclusion du propriétaire (soit lui-même)." Il est tout au plus possible de déduire de l'argumentation en cause que le recourant entend se plaindre d'une interprétation et d'une application arbitraires (art. 9 Cst.) du droit cantonal (et/ou communal) en lien avec la notion de contrat de droit administratif (cf. arrêt 1C_405/2009 du 25 janvier 2010, consid. 2.4.2 deuxième paragraphe in fine). Comme on va le voir au considérant suivant, ce grief, pour peu qu'il soit recevable, est mal fondé.
4.3 Le Tribunal cantonal a estimé qu'en l'absence, comme dans le cas d'espèce, d'une base légale autorisant expressément la Commune à conclure un contrat de droit administratif pour régler les taxes litigieuses, le choix de recourir à la voie contractuelle, en lieu et place de la voie décisionnelle, devait être dicté par des raisons pertinentes d'intérêt public. Cette exigence découle de la jurisprudence du Tribunal fédéral (cf. arrêt 2P.94/2006 du 16 mars 2007 consid. 3.4 et 3.5, cité dans l'arrêt attaqué), dont la plus récente prohibe expressément, par égard aux principes de la légalité de l'impôt et de l'égalité de traitement entre contribuables (cf. art. 127 al. 1 et 2 Cst.), la conclusion de contrats de droit administratif accordant un avantage fiscal à l'administré, notamment pour les taxes de raccordement (cf. <ref-ruling> consid. 4.1 et 4.2 p. 146 ss et les nombreuses références citées; voir aussi arrêt 2C_164/2009 du 13 août 2009 consid. 8.1). Après avoir constaté que les locataires du recourant s'étaient "plus ou moins tacitement entendues avec la Commune quant au fait que cette dernière prélèverait directement auprès d'elles les taxes de fourniture d'eau et d'élimination des eaux usées liées à l'exploitation de l'établissement", les premiers juges ont laissé ouvert le point de savoir s'il existait un intérêt public de nature à justifier la conclusion d'un tel arrangement. Ils ont en effet considéré qu'une convention de ce genre, passée entre la Commune et les locataires, "ne pouvait de toute façon pas avoir d'effet libératoire à l'égard du recourant." Ils ont également relevé que rien dans le dossier ne permettait "d'établir que la Commune et le recourant auraient également de leur côté passé un contrat par lequel (ce dernier) aurait été libéré de ses obligations légales de propriétaire quant aux taxes périodiques de fourniture et d'évacuation des eaux."
Selon le recourant, le raisonnement des premiers juges est insoutenable, car il reviendrait, en contradiction manifeste avec la règlementation communale, d'une part, à désigner les locataires comme "débiteurs principaux" de la Commune et, d'autre part, à faire du propriétaire (soit lui-même) "le débiteur solidaire, la caution ou le porte-fort de ses locataires." On peine à comprendre cette argumentation. En effet, à aucun moment les premiers juges n'ont envisagé de relation juridique triangulaire entre la Commune, le propriétaire de l'immeuble et ses locataires. Ils ont simplement estimé qu'un arrangement entre la Commune et les locataires au sujet du prélèvement des taxes litigieuses était sans effet sur les obligations légales du recourant, faute de convention spécifique sur ce point passée entre l'intéressé et la Commune. Or, il n'y a rien d'arbitraire à considérer qu'un éventuel arrangement portant sur une simple modalité (contractuelle) d'encaissement d'une créance passée avec un tiers ne libère pas de ses obligations à l'égard de la collectivité le débiteur (légal) de cette créance. Sur ce point, le recourant confond le problème du recouvrement des taxes avec la question du débiteur de celles-ci. Au demeurant, si l'on suivait sa solution, il faudrait admettre que la Commune a valablement renoncé à son égard aux créances fiscales prévues aux art. 51 al. 1 RAE et 35 RAss; or, une telle renonciation ne saurait intervenir contractuellement à défaut d'une base légale expresse en prévoyant la possibilité (cf. arrêt précité 2C_164/2009 consid. 8.1 et 8.2).
4.4 En conséquence, les premiers juges pouvaient sans arbitraire conclure à l'absence de clause contractuelle valable libérant le recourant du paiement des taxes litigieuses. Le recours s'avère mal fondé sur ce point.
5. 5.1 Même là où il n'y a pas place pour une convention entre l'autorité fiscale et le contribuable, il n'est pas exclu que ce dernier puisse, par exemple en se référant à des promesses de l'administration, invoquer la protection de sa bonne foi pour échapper à l'imposition (cf. arrêt précité 2C_164/2009 consid. 8.1 in fine). L'art. 5 al. 3 Cst. prévoit en effet que les organes de l'Etat et les particuliers doivent agir conformément aux règles de la bonne foi. Cela implique notamment qu'ils s'abstiennent d'adopter un comportement contradictoire ou abusif (<ref-ruling> consid. 4.2 p. 312). De ce principe découle notamment le droit de toute personne à la protection de sa bonne foi dans ses relations avec l'Etat (cf. art. 9 Cst.; <ref-ruling> consid. 5.2 p. 261 et les références citées). En particulier, l'administré peut, à certaines conditions, exiger de l'autorité qu'elle se conforme aux promesses ou aux assurances qu'elle lui a faites et ne trompe pas la confiance qu'il a légitimement placée dans celles-ci. De jurisprudence constante, ces conditions sont les suivantes. Il faut: a) que l'autorité soit intervenue dans une situation concrète à l'égard d'une personne déterminée; b) qu'elle ait agi ou soit censée avoir agi dans les limites de sa compétence; c) que l'administré ait eu de sérieuses raisons de croire à la validité de l'acte selon lequel il a réglé sa conduite; d) qu'il se soit fondé sur l'acte en question pour prendre des dispositions qui ne peuvent être modifiées sans préjudice; e) que la loi n'ait pas changé depuis le moment où l'assurance a été donnée (cf. <ref-ruling> consid. 6.1 p. 636 s. et les nombreuses références citées).
A ces mêmes conditions, le droit à la protection de la bonne foi peut aussi être invoqué en présence simplement d'un comportement de l'administration, pour autant que celui-ci soit susceptible d'éveiller chez l'administré une attente ou une espérance légitime (cf. <ref-ruling> consid. 7.1 p. 381; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 3a p. 387 et les arrêts cités; voir aussi arrêt 2C_212/2008 du 3 septembre 2008 consid. 11 non publié à l'<ref-ruling>). La précision que l'attente ou l'espérance doit être "légitime" est une autre façon de dire que l'administré doit avoir eu des raisons sérieuses d'interpréter comme il l'a fait le comportement de l'administration et d'en tirer les conséquences qu'il en a tirées. Tel n'est notamment pas le cas s'il apparaît, au vu des circonstances, qu'il devait raisonnablement avoir des doutes sur la signification du comportement en cause et se renseigner à ce sujet auprès de l'autorité (cf. <ref-ruling> consid. 1.3.1 p. 203; voir aussi Häfelin/Müller/Uhlmann, Allgemeines Verwaltungsrecht, 6ème éd., 2010, n. 657 et 682; Etienne Grisel, Egalité, Les garanties de la Constitution fédérale du 18 avril 1999, 2ème éd., 2009, n. 417; Claude Rouiller, in Droit constitutionnel suisse, éd. par Thürer/Aubert/Müller, 2001, n. 26 ad § 42).
5.2 En l'espèce, il ressort des constatations cantonales que le recourant n'a jamais reçu de promesses, de garanties ou de renseignements personnels l'assurant explicitement qu'en dépit de la réglementation applicable et de sa qualité de propriétaire, il était libéré du paiement des taxes litigieuses. C'est en vain qu'il prétend le contraire dans son recours. Du reste, son argumentation vise à établir qu'il était en droit, au vu du "complexe de faits" retenus par le Tribunal cantonal, de déduire qu'il n'était pas le débiteur des taxes d'eau, en ce sens que celles-ci faisaient l'objet d'un contrat de droit administratif conclu directement entre la Commune et ses locataires.
5.3 L'arrêt attaqué retient effectivement que les locataires s'étaient "plus ou moins tacitement entendues" avec la Commune sur le fait que les taxes litigieuses seraient prélevées directement auprès d'elles. Il est également acquis, selon les constatations cantonales, que le recourant a certainement eu connaissance de cet arrangement. Il ne peut pourtant pas déduire un droit à la protection de la bonne foi d'un tel arrangement dans la mesure où il n'en était pas partie. Seuls sont en effet susceptibles de lier une autorité les promesses ou les actes qui se rapportent directement à la situation concrète de celui qui s'en prévaut (cf. Häfelin/Müller/Uhlmann, op. cit., n. 670; Grisel, op. cit., n. 416; Rouiller, op. cit., n. 26 ad § 42; Pierre Moor, Droit administratif, vol. I, 2ème éd., 1994, p. 428).
Il est vrai que la Commune a reconnu avoir passé des arrangements similaires avec d'autres locataires sis sur son territoire afin de ménager les intérêts des propriétaires en leur épargnant certaines démarches (notamment la répercussion des taxes sur les locataires au titre des frais accessoires); elle a précisé qu'elle avait procédé de la sorte lorsqu'elle pouvait aisément déterminer les locataires, en particulier lorsqu'un immeuble entier était loué à un seul locataire et qu'il n'y avait pas lieu de répartir les charges (soit les taxes). Le comportement de la Commune n'était donc pas isolé, mais reflétait une véritable pratique de sa part. On ignore si, et le cas échéant à partir de quel moment, le recourant a eu connaissance de cette pratique, aujourd'hui apparemment abandonnée, l'arrêt attaqué ne contenant aucune constatation à ce sujet. Peu importe toutefois: à supposer, dans l'hypothèse la plus favorable pour lui, qu'il en eût vent dès la conclusion du contrat avec ses locataires, il ne pourrait de toute façon rien en tirer en sa faveur. A moins qu'il n'ait reçu des garanties personnelles et concrètes, un administré ne peut en effet déduire aucun droit à la protection de la bonne foi d'une ordonnance, de notices explicatives, de directives générales ou encore d'une simple pratique administrative dont le contenu est illégal (cf. Häfelin/Müller/Uhlmann, op. cit., n. 656; Grisel, op. cit., n. 416 ; Rouiller, op. cit. n. 26 ad § 42; Blaise Knapp, Précis de droit administratif, 4ème éd., 1991, n. 509).
Le seul comportement de la Commune qui peut être assimilé à l'égard du recourant à un acte adopté dans une situation individuelle et concrète tient dans le fait que jusqu'en août 2008, soit pendant près de cinq ans et demi, la Commune ne lui a pas facturé de taxes. La protection de la bonne foi peut certes exceptionnellement découler d'une abstention de l'autorité, par exemple lorsque celle-ci laisse perdurer pendant de longues années une situation illégale (cf. Elisabeth Chiariello, Treu und Glauben als Grundrecht nach Art. 9 der schweizerischen Bundesverfassung, 2004, p. 126 ad note 81; Häfelin/Müller/Uhlmann, op. cit., n. 652). Toutefois, un engagement implicite de sa part ne sera pas facilement admis et devra résulter de circonstances concluantes (Grisel, op. cit., n. 414; Rouiller, op. cit., n. 26 ad § 42) qui font ici manifestement défaut. Comme on l'a vu, le recourant pouvait en effet tout au plus déduire des circonstances que, pour des raisons pratiques, la Commune prélevait directement auprès de ses locataires les taxes litigieuses. Aucun élément sérieux en revanche ne lui permettait d'inférer de cette modalité d'encaissement que la Commune renonçait à le tenir pour le véritable débiteur des taxes en question et qu'elle ne se retournerait pas contre lui en cas de défaut de paiement de ses locataires. Dans la mesure où une telle interprétation s'inscrit clairement en contradiction avec la réglementation applicable (cf. art. 51 al. 1 RAE et 35 RAss), on pouvait et devait attendre du recourant, par ailleurs propriétaire de plusieurs autres immeubles selon les constatations cantonales (dans d'autres communes selon ses précisions) et donc au bénéfice d'une certaine expérience dans les affaires, qu'il se renseigne auprès de la Commune avant de tirer hâtivement et à la légère la conclusion que ses locataires se substituaient à lui comme débitrices des taxes litigieuses.
5.4 En résumé, le moyen tiré de la protection de la bonne foi se révèle mal fondé, car la Commune ne peut pas être considérée comme étant intervenue dans une situation concrète à l'égard du recourant; de plus, celui-ci n'avait pas de raisons suffisantes d'interpréter comme il l'a fait le comportement de la Commune à son égard.
6. Enfin, dans un dernier moyen, le recourant soutient qu'en modifiant sa pratique "avec effet rétroactif", la Commune a adopté à son égard un comportement contradictoire qui contrevient aux règles de la bonne foi. Il semble effectivement que la Commune ait, selon ses déclarations, abandonné sa pratique consistant à prélever les taxes d'eau directement auprès des locataires dans le souci de simplifier la vie des propriétaires. Dans la mesure, toutefois, où cette ancienne pratique n'avait pas pour conséquence, comme on l'a vu, de libérer le recourant du paiement des taxes litigieuses, son abandon n'emporte aucun effet rétroactif défavorable pour l'intéressé. Le grief est dès lors infondé.
7. Il suit de ce qui précède que le recours, entièrement mal fondé, doit être rejeté dans la mesure où il est recevable.
Succombant, le recourant supportera les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à la Commune municipale de Y._, à la Préfecture du Jura bernois et au Tribunal administratif du canton de Berne, Cour des affaires de langue française, ainsi qu'à l'Administration fédérale des contributions, Division juridique impôt fédéral direct.
Lausanne, le 22 mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Karlen Addy