Sachverhalt: A. Das Elektrizitätswerk (EW) bzw. die Elektrizitätsversorgung Tuggen ist eine unselbständige Anstalt der politischen Gemeinde Tuggen. Diese erteilte X._ am 27. Mai 2010 die Baubewilligung für einen Stall zur Aufzucht von A._ und eine Terrainveränderung. Im Rahmen dieses Bewilligungsentscheids auferlegte sie dem Bauherrn "Hausanschlusskosten" für die elektrische Zuleitung von Fr. 15'064.-- und einen "EW-Erschliessungsbeitrag" von Fr. 30'579.90. Weiter hielt sie fest, dass die "EW-Anschlussgebühr" nach Realisierung des Hausanschlusses - zusammen mit der definitiven Abrechnung der Hausanschlusskosten - in Rechnung gestellt werde (Ziff. 3-5 der Baubewilligung). Das Verwaltungsgericht des Kantons Schwyz hiess am 27. Januar 2011 die gegen die erwähnten Abgaben erhobene Beschwerde teilweise gut und reduzierte den Erschliessungsbeitrag auf Fr. 28'420.--; im Übrigen wies es das Rechtsmittel ab. B. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, das Urteil des Verwaltungsgerichts sowie Ziffer 3-5 der Baubewilligung vom 27. Mai 2010 aufzuheben und die Sache zur Neubeurteilung an den Gemeinderat Tuggen zurückzuweisen. Die Gemeinde Tuggen ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht stellt Antrag auf Abweisung des Rechtsmittels. C. Der Präsident der II. öffentlich-rechtlichen Abteilung hat am 3. März 2011 ein Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.