Sachverhalt:
A. Der 1953 geborene A._ war ab 1. Oktober 2004 als Bauarbeiter bei der X._ AG, Hoch- und Tiefbau, tätig und dadurch bei der Schweizerischen Unfallversicherungsanstalt (SUVA) gegen Unfallfolgen versichert. Bei einem Elektrounfall am 23. August 2006 erlitt er Verbrennungen an den Händen, an den Armen und am rechten Knie. Die SUVA erbrachte die gesetzlichen Leistungen. Während des Heilverlaufs kam es zu einer Ausweitung des Beschwerdebildes in Form einer somatoformen Schmerzstörung. Nach diversen, teils stationären medizinischen Abklärungen stellte die SUVA mit Verfügung vom 17. Mai 2010 die Versicherungsleistungen per 31. Mai 2010 ein. Zur Begründung führte sie aus, die noch geklagten Beschwerden seien organisch als Folge des Unfalls vom 23. August 2006 nicht mehr erklärbar und ein natürlicher Kausalzusammenhang der psychischen Problematik mit dem Unfallereignis sei nicht mit der erforderlichen Wahrscheinlichkeit erstellt. An ihrem Standpunkt hielt die SUVA mit Einspracheentscheid vom 11. Januar 2011 fest.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. Januar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, in Aufhebung des kantonalen Gerichtsentscheids seien ihm die gesetzlichen Leistungen zu erbringen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (vgl. <ref-ruling> E. 1.4.1 S. 254; Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120).
1.2 Im Beschwerdeverfahren um die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung ist das Bundesgericht nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden (Art. 97 Abs. 2 und Art. 105 Abs. 3 BGG).
2. Streitig und zu prüfen ist, ob der Versicherte aus dem Unfall vom 23. August 2006 über den 31. Mai 2010 hinaus Anspruch auf Leistungen der obligatorischen Unfallversicherung hat.
Die Vorinstanz hat die Bestimmungen und Grundsätze über die Leistungsvoraussetzungen des natürlichen (<ref-ruling> E. 3.1 S. 181 mit Hinweisen) und des adäquaten Kausalzusammenhangs (<ref-ruling> E. 3.2 S. 181 mit Hinweis), insbesondere bei psychischen Fehlentwicklungen nach Unfällen (<ref-ruling>), sowie die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Das kantonale Gericht ist zum Ergebnis gelangt, spätestens im Zeitpunkt der Einstellung der Leistungen durch die SUVA hätten keine organisch objektiv ausgewiesenen Unfallfolgen mehr vorgelegen. Die Verbrennungen seien binnen weniger Wochen abgeheilt und die Abklärungen zur Frage von spezifischen Nervenschädigungen hätten keine oder zumindest keine die Leistungsfähigkeit erheblich einschränkenden unfallbedingten Befunde ergeben, dies namentlich auch was die neuropathischen Schmerzen im rechten Arm anbelange. Bezüglich der psychischen Beschwerden, der diagnostizierten somatoformen Schmerzstörung, fehle es am natürlichen Kausalzusammenhang zwischen den Beschwerden und dem Elektrounfall. Selbst wenn bezüglich der psychischen Beschwerden eine Adäquanzprüfung vorgenommen würde, hätte diese im Lichte der Rechtsprechung von <ref-ruling> zu erfolgen und wäre ein adäquater Kausalzusammenhang - ausgehend von einem höchstens mittelschweren Ereignis - zu verneinen.
3.2 In der Beschwerde wird nicht bestritten, dass die offenen Wunden relativ rasch verheilt sind und dass eine somatoforme Schmerzstörung vorliegt. Wie bereits im kantonalen Verfahren rügt der Beschwerdeführer jedoch eine ungenügende Abklärung in neurologischer Hinsicht. Er macht zudem wiederum geltend, die körperlichen und die psychischen Beschwerden seien natürlich und adäquat kausal, weshalb ihm weiterhin die gesetzlichen Leistungen auszurichten seien.
4. Was zunächst die Frage von organisch objektiv ausgewiesenen Unfallfolgen anbelangt, hat das kantonale Gericht aufgezeigt, dass diese spätestens im Zeitpunkt der Leistungseinstellung folgenlos abgeheilt waren. Die vorinstanzliche Beurteilung beruht auf einer sorgfältigen Auseinandersetzung mit der medizinischen Aktenlage und einer überzeugend begründeten rechtlichen Würdigung. Was der Versicherte vorträgt, führt zu keinem andern Ergebnis. Soweit er eine ungenügende neurologische Abklärung rügt, ist dies mit der Vorinstanz namentlich unter Hinweis auf die Berichte der Frau Dr. med. I._, Fachärztin für Neurologie FMH, Versicherungsmedizin, vom 25. September 2008 und 4. September 2009, welche den Anforderungen der Rechtsprechung genügen, zu verneinen. Während die Fachärztin in der Beurteilung vom 25. September 2008 zwar ausgeführt hatte, die Schmerzen in den Armen liessen sich überwiegend wahrscheinlich als Folge des Elektrounfalls erklären und eine Schädigung von peripheren Nerven, die in elektrophysiologischen Untersuchungen nicht nachweisbar sein müsse, sei mit dem klinischen Bild eines neuropathischen Schmerzes vereinbar, hielt sie im Bericht vom 4. September 2009 über die abschliessende neurologische Untersuchung vom 21. Juli 2009 unter Bezugnahme auf den früheren Bericht ausdrücklich fest, aus neurologischer Sicht sei das diffuse Schmerzbild in seiner Gesamtheit nicht zu erklären. Die erhebliche Einschränkung der Leistungsfähigkeit sei nicht mit überwiegender Wahrscheinlichkeit durch eine neurologische Störung zu erklären. Neuropathische Schmerzen bzw. Schmerzen im Allgemeinen bedingten nicht zwanglos eine Einschränkung der Arbeitsfähigkeit. Objektivierbare oder strukturelle Läsionen im Bereich des Gehirns, des cervikalen Rückenmarks und der peripheren Nerven an den Armen seien als Unfallfolgen nicht ausgewiesen. Aufgrund der Aktenlage durfte das kantonale Gericht unter Verzicht auf weitere Abklärungen davon ausgehen, dass beim Beschwerdeführer keine organisch hinreichend nachweisbare Symptomatik vorliegt, welche mit überwiegender Wahrscheinlichkeit in einem natürlichen Kausalzusammenhang mit dem Unfallereignis steht.
5. Es stellt sich im Weiteren die Frage, ob ein unfallkausaler psychischer Gesundheitsschaden vorliegt, welcher die noch geklagten Beschwerden zu erklären vermöchte.
5.1 Nicht bestritten ist diesbezüglich die Diagnose einer somatoformen Schmerzstörung. Mit dem kantonalen Gericht ist auf das psychiatrische Gutachten des Dr. med. S._, Facharzt FMH Psychiatrie und Psychotherapie, vom 12. Oktober 2009 abzustellen, welches den Anforderungen der Rechtsprechung unbestrittenermassen genügt. Der Gutachter legte darin unter Bezugnahme auf die Aktenlage überzeugend dar, weshalb weder eine posttraumatische Belastungsstörung noch eine anhaltende posttraumatische Persönlichkeitsveränderung vorliege. Weder handle es sich bei der somatoformen Störung - so der Facharzt - um eine psychische Fehlverarbeitung des Unfallereignisses bzw. der möglichen unfallkausalen neuropathischen Schmerzen im rechten Arm, noch habe der Unfall einen direkten psychischen Schaden hinterlassen. Vielmehr komme dem Unfallereignis die Bedeutung eines Auslösers einer überwiegend durch unfallfremde Faktoren bestimmten pathologischen Entwicklung zu, welche letztlich - aufgrund der äusserst belastenden psychosozialen Umstände - auch ohne Unfallereignis eingetreten wäre. Weiterungen zur Frage, ob die SUVA und die Vorinstanz zu Recht den natürlichen Kausalzusammenhang der psychischen Beschwerden mit dem Unfallereignis verneint haben, erübrigen sich, da es, wie das kantonale Gericht aufgezeigt hat, jedenfalls am adäquaten Kausalzusammenhang fehlt. Das zeigen die folgenden Erwägungen.
5.2 Für die Adäquanzprüfung ist an das Unfallereignis anzuknüpfen, wobei - ausgehend vom augenfälligen Geschehensablauf - zwischen banalen bzw. leichten Unfällen einerseits, schweren Unfällen anderseits und schliesslich dem dazwischen liegenden mittleren Bereich unterschieden wird. Während der adäquate Kausalzusammenhang in der Regel bei schweren Unfällen ohne weiteres bejaht und bei leichten Unfällen verneint werden kann, lässt sich die Frage der Adäquanz bei Unfällen aus dem mittleren Bereich nicht aufgrund des Unfallgeschehens allein schlüssig beantworten. Es sind weitere, objektiv fassbare Umstände, welche unmittelbar mit dem Unfall in Zusammenhang stehen oder als direkte bzw. indirekte Folgen davon erscheinen, in eine Gesamtwürdigung einzubeziehen. Je nachdem, wo im mittleren Bereich der Unfall einzuordnen ist und abhängig davon, ob einzelne dieser Kriterien in besonders ausgeprägter Weise erfüllt sind, genügt zur Bejahung des adäquaten Kausalzusammenhangs ein Kriterium oder müssen mehrere herangezogen werden (<ref-ruling> E. 6 S. 138 ff.). Gemäss der für psychische Fehlentwicklungen nach Unfall erarbeiteten sog. Psycho-Praxis (<ref-ruling>) werden diese Adäquanzkriterien unter Ausschluss psychischer Aspekte geprüft (<ref-ruling> E. 2.1 S. 112 mit Hinweisen).
5.2.1 Im kantonalen Gerichtsentscheid wird für die Adäquanzbeurteilung von einem höchstens mittelschweren Ereignis ausgegangen. Dies ist aufgrund der Aktenlage und mit Blick auf die Rechtsprechung zu Stromunfällen (SVR 2011 UV Nr. 10 S. 35, 8C_584/2010 E. 4.2.3 u. 4.2.4; Urteile 8C_587/2011 vom 23. Dezember 2011 E. 9.2; 8C_362/2011 vom 30. Juni 2011 E. 3.2; 8C_746/2010 vom 12. November 2010 E. 4.3) nicht zu beanstanden. Es müssten daher für eine Bejahung des adäquaten Kausalzusammenhangs von den weiteren massgeblichen Kriterien ein einzelnes in besonders ausgeprägter Weise oder aber mehrere in gehäufter oder auffallender Weise gegeben sein (<ref-ruling> E. 6c/bb S. 140). Bei einem Unfall im eigentlich mittleren Bereich genügen drei Kriterien (Urteil 8C_587/2011 vom 23. Dezember 2011 E. 9.1 mit Hinweisen).
5.2.2 Der Berücksichtigung des Kriteriums der besonders dramatischen Begleitumstände oder besonderen Eindrücklichkeit des Unfalls liegt der Gedanke zugrunde, dass solche Umstände geeignet sind, bei der betroffenen Person während des Unfallgeschehens oder nachher psychische Abläufe in Bewegung zu setzen, die an den nachfolgenden psychischen Fehlentwicklungen mitbeteiligt sein können. Dabei sind objektive Massstäbe anzuwenden. Nicht was im einzelnen Betroffenen beim Unfall psychisch vorgeht - sofern sich dies überhaupt zuverlässig feststellen liesse -, soll entscheidend sein, sondern die objektive Eignung solcher Begleitumstände, bei Betroffenen psychische Vorgänge der genannten Art auszulösen. Zu beachten ist zudem, dass jedem mindestens mittelschweren Unfall eine gewisse Eindrücklichkeit eigen ist (in <ref-ruling> nicht publ. E. 7.2 des Urteils 8C_807/2008 vom 15. Juni 2009; Urteil 8C_587/2011 vom 23. Dezember 2011 E. 9.3.1 mit Hinweisen).
Dem vorliegend zu beurteilenden Unfall kann auch bei objektiver Betrachtungsweise und trotz der genannten Einschränkung eine gewisse Eindrücklichkeit nicht abgesprochen werden, auch wenn der Beschwerdeführer nicht in unmittelbar drohende Lebensgefahr gebracht wurde (vgl. etwa Urteile 8C_587/2011 vom 23. Dezember 2011 E. 9.3.1 und 8C_799/2008 vom 11. Februar 2009 E. 3.2.3). Das Kriterium kann daher als erfüllt erachtet werden, wenn auch nicht in besonders ausgeprägter Weise.
5.2.3 Das Bundesgericht hat verschiedentlich erkannt, dass Stromunfälle erfahrungsgemäss geeignet sind, zu psychischen Leiden zu führen, weshalb das Kriterium der Schwere oder besonderen Art der erlittenen Verletzungen in solchen Fällen gegeben sei (SVR 2011 UV Nr. 10 S. 35, 8C_584/2010 E. 4.3.3 mit Hinweis).
5.2.4 Eine ärztliche Fehlbehandlung, welche die Unfallfolgen erheblich verschlimmert, ist nach Lage der Akten nicht gegeben und wird auch nicht geltend gemacht. Weiter bestand zwar eine langdauernde Arbeitsunfähigkeit, doch war diese nach absehbarer Zeit durch die psychische Fehlentwicklung bestimmt, die hier nicht mehr berücksichtigt werden darf. Das Kriterium der ungewöhnlich langen Dauer der ärztlichen Behandlung setzt eine länger dauernde, kontinuierliche und zielgerichtete Behandlung somatisch begründbarer Beschwerden voraus (vgl. Urteil 8C_498/2011 vom 3. Mai 2012 E. 6.2.3 mit Hinweisen). Anhaltspunkte für eine solche Behandlung ergeben sich im vorliegenden Fall nicht aus den Akten. Vielmehr waren die somatischen Beschwerden relativ rasch verheilt, danach kam die psychische Fehlentwicklung auch in diesem Zusammenhang zum Tragen. Entsprechendes gilt mit Bezug auf die Kriterien der Dauerbeschwerden sowie des schwierigen Heilungsverlaufs.
5.3 Zusammengefasst vermöchten die Unfallschwere und die zu berücksichtigenden Kriterien einen adäquaten Kausalzusammenhang zwischen dem am 23. August 2006 erlittenen Unfall und den geklagten psychischen Beschwerden nicht zu begründen. Es fallen lediglich zwei Kriterien (besondere Eindrücklichkeit des Unfalls und Schwere beziehungsweise besondere Art der erlittenen Verletzungen) in Betracht, was zur Bejahung der Adäquanz selbst bei einem Unfall im eigentlich mittleren Bereich nicht genügen würde (vgl. Urteil 8C_587/2011 vom 23. Dezember 2011 E. 9.4 mit Hinweis). Die vorinstanzliche Gesamtbeurteilung erweist sich somit nicht als rechtsfehlerhaft. Die in der Beschwerdeschrift vorgebrachten Einwände sind nicht geeignet, einen klaren Mangel in den vorinstanzlichen Feststellungen und den daraus gezogenen Schlussfolgerungen zu begründen, beziehen sie sich doch im Wesentlichen auf die psychische Problematik, welche bei der Adäquanzbeurteilung auszuklammern ist. Die Beschwerde ist daher abzuweisen.
6. Die Kosten des Verfahrens werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 750.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Gesundheit schriftlich mitgeteilt.
Luzern, 8. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch