Sachverhalt:
A. Das Elektrizitätswerk (EW) bzw. die Elektrizitätsversorgung Tuggen ist eine unselbständige Anstalt der politischen Gemeinde Tuggen. Diese erteilte X._ am 27. Mai 2010 die Baubewilligung für einen Stall zur Aufzucht von A._ und eine Terrainveränderung. Im Rahmen dieses Bewilligungsentscheids auferlegte sie dem Bauherrn "Hausanschlusskosten" für die elektrische Zuleitung von Fr. 15'064.-- und einen "EW-Erschliessungsbeitrag" von Fr. 30'579.90. Weiter hielt sie fest, dass die "EW-Anschlussgebühr" nach Realisierung des Hausanschlusses - zusammen mit der definitiven Abrechnung der Hausanschlusskosten - in Rechnung gestellt werde (Ziff. 3-5 der Baubewilligung).
Das Verwaltungsgericht des Kantons Schwyz hiess am 27. Januar 2011 die gegen die erwähnten Abgaben erhobene Beschwerde teilweise gut und reduzierte den Erschliessungsbeitrag auf Fr. 28'420.--; im Übrigen wies es das Rechtsmittel ab.
B. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten, das Urteil des Verwaltungsgerichts sowie Ziffer 3-5 der Baubewilligung vom 27. Mai 2010 aufzuheben und die Sache zur Neubeurteilung an den Gemeinderat Tuggen zurückzuweisen.
Die Gemeinde Tuggen ersucht um Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Verwaltungsgericht stellt Antrag auf Abweisung des Rechtsmittels.
C. Der Präsident der II. öffentlich-rechtlichen Abteilung hat am 3. März 2011 ein Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.

Erwägungen:
1. Streitgegenstand bilden einerseits die Kosten für die Erstellung des Hausanschlusses und anderseits der EW-Erschliessungsbeitrag. Dagegen ist kein Entscheid darüber getroffen worden, ob der Beschwerdeführer ebenfalls eine Anschlussgebühr schuldet. Wie aus dem angefochtenen Entscheid und den Stellungnahmen der Gemeinde im vorinstanzlichen Verfahren hervorgeht, wollte Letztere in der Baubewilligung den Entscheid über die Anschlussgebühr lediglich vorbehalten, aber nicht bereits erklären, dass eine solche grundsätzlich geschuldet sei.
Der vom Beschwerdeführer geschuldete Erschliessungsbeitrag wird in der Baubewilligung betragsmässig festgesetzt. Die definitive Höhe der Kosten des Hausanschlusses ist dagegen noch nicht bekannt. Der angefochtene Entscheid legt jedoch anhand des bei den Akten liegenden Technischen Berichts vom 12. Mai 2010 die Positionen dieser Kosten fest.
2. Der Beschwerdeführer stellt sich auf den Standpunkt, dass er weder die verfügten Hausanschlusskosten noch den festgesetzten Erschliessungsbeitrag schulde. In Betracht komme allenfalls die Erhebung einer Anschlussgebühr, weshalb der angefochtene Entscheid aufzuheben und die Sache zur Festsetzung dieser Gebühr an den Gemeinderat Tuggen zurückzuweisen sei.
Nach Auffassung des Beschwerdeführers besteht für seine Verpflichtung, die Hausanschlusskosten zu tragen, keine genügende gesetzliche Grundlage; ausserdem habe die Vorinstanz bei der Festsetzung dieser Kosten seinen Anspruch auf rechtliches Gehör (<ref-law>) verletzt. Der von der Gemeinde festgesetzte Erschliessungsbeitrag verstosse aus zwei Gründen gegen das Äquivalenzprinzip. Einerseits müsse er einen zu hohen Betrag bezahlen, weil von den anderen Grundeigentümern, die von den neuen Anlagen ebenfalls profitierten, keine Abgaben verlangt würden. Anderseits führe die gleichzeitige Erhebung von Erschliessungsbeiträgen und Anschlussgebühren zu einer unzulässigen Doppelbelastung.
3. 3.1 Die Vorinstanz stützt die Pflicht zur Tragung der Hausanschlusskosten auf Art. 6 des von der Gemeindeversammlung von Tuggen beschlossenen "EW-Reglements" vom 27. November 2009. Nach dieser Bestimmung erstellt die Energieversorgung Tuggen auf dem Gebiet der Gemeinde Tuggen - unter Vorbehalt der Fälle von § 38 Abs. 2 des kantonalen Planungs- und Baugesetzes vom 14. Mai 1987 (PBG; SRSZ 400.100) - die Grob- und Feinerschliessung sowie nach Massgabe der erteilten Bewilligungen die Hausanschlussleitungen (Abs. 1). Die Erstellung der Grob- und Feinerschliessung erfolgt auf Kosten des Werkes; die Erstellung des Hausanschlusses ab bestehendem Verteilnetz (Kabelverteilkabine oder Abzweigmuffe) bis zum Anschlussüberstromunterbrecher auf Kosten des Grundeigentümers (Abs. 3).
3.2 Der Beschwerdeführer bemerkt zu Recht, dass Art. 6 Abs. 3 des Reglements, dem der Charakter eines formellen Gesetzes zukommt, die Höhe der zu leistenden Abgabe überhaupt nicht regelt. Die Grundzüge der Bemessung einer Abgabe sind zwar grundsätzlich auf Gesetzesstufe zu regeln; doch sieht die Rechtsprechung von diesem Erfordernis ab, wenn die Höhe der Abgabe durch das Kostendeckungs- und Äquivalenzprinzip begrenzt wird und nicht allein der Gesetzesvorbehalt diese Schutzfunktion erfüllt (<ref-ruling> E. 7.2 S. 140; <ref-ruling> E. 2.1 S. 374). So verhält es sich hier. Nach Art. 6 Abs. 3 des erwähnten Reglements hat der Eigentümer allein die Kosten seines Hausanschlusses zu tragen. Die vom erstellenden Werk auszuweisenden Aufwandpositionen des Anschlusses begrenzen die Höhe der Abgabe. Die Rüge der ungenügenden gesetzlichen Grundlage erscheint deshalb als unbegründet.
3.3 Die Vorinstanz hat unter Verweis auf den Technischen Bericht vom 12. Mai 2010 festgestellt, dass der neue Aufzuchtstall über ein 80 Meter langes Kabel an das Elektrizitätsnetz angeschlossen wird. Der Beschwerdeführer hatte dies bestritten und geltend gemacht, dass die Distanz zwischen der Stammkabelleitung und dem Stall lediglich sieben Meter betrage. Die Vorinstanz hat sich mit diesem Einwand nicht näher auseinandergesetzt und auch keine Beweiserhebungen dazu vorgenommen. Eine Verletzung des Gehörsanspruchs des Beschwerdeführers liegt darin jedoch nicht, weil die Vorinstanz die von diesem vorgebrachte Auffassung offensichtlich für unzutreffend hielt und deshalb nicht näher darauf einging. Tatsächlich geht aus dem zitierten Technischen Bericht hervor, dass der neue Stall vom Transformator TS06 Hagmen an über eine separate Leitung (GKN 3x50/50mm2) von 80 Metern Länge und nicht über die parallel verlaufende Stammkabelleitung (GKN 3x95/95mm2) angeschlossen wird. Die Behauptung des Beschwerdeführers, dass er ebenfalls an die Stammkabelleitung bezahlen müsse, ist deshalb unzutreffend. Dasselbe gilt für seine Auffassung, der neue Stall werde über die Stammkabelleitung angeschlossen. Erfolgt der Hausanschluss über eine separate 80 Meter lange Leitung, sind die Kosten dafür vom Grundeigentümer zu tragen. Der Beschwerdeführer macht jedenfalls nicht geltend, dass es willkürlich wäre, seine Kostenpflicht nach Art. 6 Abs. 3 des Reglements auch in diesem etwas besonders gelagerten Fall zu bejahen.
4. 4.1 Der Beschwerdeführer hält den ihm auferlegten Erschliessungsbeitrag für verfassungswidrig, weil Art. 8 des EW-Reglements der Gemeinde Tuggen, auf den sie sich stützt, gegen das Kostendeckungs- und Äquivalenzprinzip verstosse. Diese Norm habe zur Folge, dass er weitgehend allein für die gesamten vom Elektrizitätswerk getätigten Investitionen aufzukommen habe, obwohl die damit erzielten Vorteile (Verbesserung der Versorgungssicherheit) auch anderen Grundeigentümern zugute kämen, diese aber keine Beiträge zu bezahlen hätten.
4.2 Art. 8 Abs. 1 des Reglements umschreibt den Abgabetatbestand in der für Beiträge typischen Weise, indem die Abgabepflicht an den durch Erschliessungsmassnahmen bewirkten Sondervorteil des Grundeigentümers geknüpft wird. Für die Festsetzung ist dagegen nicht das sonst bei Beiträgen übliche Perimeterverfahren vorgesehen, sondern sie erfolgt - wie typischerweise bei Anschlussgebühren - nach festen Abgabesätzen aufgrund der Grundstückfläche, einem auf die Nutzungszone abgestimmten und einem weiteren festen Faktor von Fr. 5.-- (Abs. 2 und Anhang 1 Ziff. I.). Für landwirtschaftliche Objekte und Grundstücke ausserhalb der Bauzonen gelten Sonderregeln (Abs. 4 und 5). Der Gesetzgeber ist zwar an die übliche Typologie von Erschliessungsbeiträgen und Anschlussgebühren nicht gebunden und kann auch Mischformen zwischen diesen beiden Abgabearten schaffen (vgl. Adrian Hungerbühler, Grundsätze des Kausalabgabenrechts, ZBl 104/2003 S. 510 mit Hinweisen). Die getroffene Regelung darf jedoch nicht zu einer mit <ref-law> unvereinbaren Ungleichbehandlung der Abgabepflichtigen führen und auch nicht widersprüchlich und damit willkürlich (vgl. <ref-law>) sein.
4.3 Die Vorinstanz sieht den beitragspflichtigen Sondervorteil gemäss Art. 8 Abs. 1 des Reglements in der Verbesserung der Versorgungssicherheit, welche die fraglichen Investitionen bewirken. Sie geht demnach von einer Verbesserung der bisherigen Erschliessung aus, welche die Erhebung zusätzlicher Beiträge (taxes supplémentaires) rechtfertige.
Der Wortlaut von Art. 8 Abs. 1 des Reglements lässt die Erhebung solcher zusätzlicher Beiträge zu (vgl.: "[...] für Grundstücke, welche [...] neu erschlossen werden oder einen besonderen Vorteil erhalten"). Der Abgabetatbestand erfasst jeden besonderen Vorteil, also nicht nur einen solchen, der durch eine Neuerschliessung entsteht, sondern auch jenen, der durch Verbesserung der bestehenden Anlagen eintritt (vgl. dazu auch Werner Otzenberger, Die Grundeigentümerbeiträge im Kanton Luzern, 1976, S. 37 ff.). Allerdings wären in diesem Fall die zusätzlichen Beiträge konsequenterweise von allen Grundeigentümern einzufordern, denen ein Sondervorteil erwächst. Die Vorinstanz erklärt jedoch, ausserhalb der Bauzone würden Erschliessungsbeiträge nur bei Errichtung neuer Bauten verlangt; denn erst ein konkretes Bauvorhaben lasse die Berechnung des Beitrags überhaupt zu, da dieser an die überbaute Fläche anknüpfe. Das habe zur Folge, dass von anderen Grundeigentümern, deren Land wie jenes des Beschwerdeführers ausserhalb der Bauzone liege, vorerst keine Beiträge erhoben werden könnten.
Der Beschwerdeführer sieht in dieser Handhabung des kantonalen Rechts mit Grund eine mit <ref-law> nicht zu vereinbarende Ungleichbehandlung. Der Sondervorteil, den die Verbesserung der Versorgungssicherheit bewirkt, kommt unbestrittenermassen auch anderen Eigentümern ausserhalb der Bauzone zugute. Sie wären deshalb nach Massgabe der von ihnen bereits überbauten Fläche ebenfalls zur Beitragsleistung heranzuziehen.
Es scheint ausserdem zweifelhaft, ob bei der gewählten Bemessungsweise zusätzliche Beiträge für Verbesserungen der Infrastruktur mit dem Äquivalenzprinzip (vgl. Art. 7 Abs. 3 des Reglements) zu vereinbaren wären. Denn bei jeder Verbesserung ist nach Art. 8 Abs. 4 des Reglements erneut der volle Erschliessungsbeitrag geschuldet. Die Abgabe steht damit - anders als bei Anwendung des Perimeterverfahrens - in keinem Zusammenhang zur vorgenommenen Neuinvestition. Wie es sich damit verhält, kann indessen offen bleiben, da sich der umstrittene Beitrag auf eine andere Grundlage zu stützen vermag.
4.4 Nach Art. 8 Abs. 1 des Reglements besteht die Beitragspflicht bei allen Sondervorteilen, insbesondere auch bei solchen, die durch Neueinzonung von Bauland entstehen ("[...] für Grundstücke, welche [...] einen besonderen Vorteil erhalten, sowie für neu eingezontes Bauland, welches bereits durch entsprechende EW-Anlagen erschlossen ist"). Auch ohne Ausbau der Leitungen entstehen Sondervorteile, wenn sie Land, das bisher nicht überbaubar war, infolge der Bewilligung einer Bebauung effektiv erschliessen (vgl. Otzenberger, a.a.O., S. 90). Nachträgliche oder ergänzende Beiträge (taxes complémentaires) werden daher geschuldet, wenn ausserhalb der Bauzone ein zusätzliches Gebäude errichtet werden darf. Das Grundstück des Beschwerdeführers wird zwar mit Elektrizität nicht neu erschlossen. Doch bewirkt der Neubau des Stalles eine erhebliche Vergrösserung der überbauten Fläche. Für diese neue Fläche wurden bisher keine Beiträge entrichtet, so dass für den in diesem Umfang entstehenden Sondervorteil noch eine Abgabe erhoben werden kann.
Der zu leistende Beitrag erscheint unter diesen Umständen als nachträglicher Einkauf in das bestehende Versorgungsnetz. Da er somit nicht die Vorteile abgilt, die dem Beschwerdeführer aus der neuen Leitung entstehen, geht sein Vergleich mit den dafür anfallenden Baukosten fehl. Im Blick darauf, dass die Erteilung der Baubewilligung der Neueinzonung einer Fläche von rund 1'300 m2 gleichkommt, kann der umstrittene Beitrag nicht als übertrieben hoch bezeichnet werden. Eine Verletzung des Äquivalenzprinzips ist nicht ersichtlich. Da jeder andere Grundeigentümer in vergleichbarer Situation ebenfalls einen solchen ergänzenden Beitrag entrichten müsste, verstösst die umstrittene Abgabenerhebung auch nicht gegen das Gleichbehandlungsgebot.
5. Der Beschwerdeführer sieht eine Verletzung des Kostendeckungs- und Äquivalenzprinzips ausserdem darin, dass die Gemeinde Tuggen neben einem Erschliessungsbeitrag auch noch eine Anschlussgebühr erhebt, die beide der Finanzierung der Grob- und Feinerschliessungskosten dienen (vgl. Art. 7 Abs. 2 des EW-Reglements).
Aus verfassungsrechtlicher Sicht sind die Gemeinden frei, mit welchen Abgabearten sie ihre Elektrizitätsversorgung finanzieren. Sie können deshalb neben Erschliessungsbeiträgen ebenfalls Anschlussgebühren erheben (vgl. Hungerbühler, a.a.O., S. 524). Es ist auch zulässig, beide Abgaben nebeneinander für die Deckung der gleichen Aufwendungen vorzusehen. Eine Doppelbelastung für die gleiche Leistung, wie sie der Beschwerdeführer behauptet, tritt nicht ein, solange für beide Abgaben zusammen das Kostendeckungs- und Äquivalenzprinzip beachtet wird. Das bedeutet, dass mit jeder Abgabe lediglich ein Teil des Aufwands gedeckt wird.
Zurzeit ist noch unklar, ob und gegebenenfalls in welcher Höhe der Beschwerdeführer eine Anschlussgebühr schuldet. Umgekehrt verletzt nach dem Ausgeführten der umstrittene Erschliessungsbeitrag allein das Kostendeckungs- und Äquivalenzprinzip nicht. Sollte die Anschlussgebühr so hoch ausfallen, dass beide Abgaben zusammen gegen die genannten Prinzipien verstossen, müsste dies gegenüber deren Festsetzung geltend gemacht werden.
6. Die Beschwerde erweist sich demnach als unbegründet und ist abzuweisen.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten dem Beschwerdeführer aufzuerlegen (Art. 65 und 66 Abs. 1 und 4 BGG). Gemeinden haben praxisgemäss keinen Anspruch auf eine Parteientschädigung, soweit sie in hoheitlichen Belangen betroffen sind (vgl. <ref-law>; <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Schwyz, Kammer II, schriftlich mitgeteilt.
Lausanne, 17. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Merz