Sachverhalt:
A. Der 1953 geborene A._ meldete sich im August 2007 wegen diverser Beschwerden nach einem Stromunfall vom 23. August 2006 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern holte die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) sowie Berichte der behandelnden Ärzte und des Arbeitgebers ein. Mit Verfügung vom 6. Juli 2010 verneinte sie einen Anspruch auf Leistungen der Invalidenversicherung.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. Januar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm unter Aufhebung des angefochtenen Entscheides mindestens eine halbe Invalidenrente zuzusprechen, eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht grundsätzlich von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht werden (vgl. <ref-law>; <ref-ruling> E. 2.5 S. 314 mit Hinweisen; <ref-ruling> E. 2.8 S. 494). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht prüft das Bundesgericht nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den Anspruch des Versicherten auf Leistungen der Invalidenversicherung verneinte. Zu prüfen ist dabei, ob beim Beschwerdeführer ein invalidisierender Gesundheitsschaden vorliegt.
2.1 Das kantonale Gericht hat die für die Beurteilung des Leistungsanspruchs massgebenden rechtlichen Grundlagen zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur (ausnahmsweise) invalidisierenden Wirkung von anhaltenden somatoformen Schmerzstörungen (<ref-ruling> E. 4.1 S. 67 mit Hinweisen) sowie zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
2.2 Wie die Vorinstanz dargelegt hat, besteht rechtsprechungsgemäss eine Vermutung, dass die somatoforme Schmerzstörung oder ihre Folgen mit einer zumutbaren Willensanstrengung überwindbar sind. Bestimmte Umstände, welche die Schmerzbewältigung intensiv und konstant behindern, können den Wiedereinstieg in den Arbeitsprozess unzumutbar machen, weil die versicherte Person alsdann nicht über die für den Umgang mit den Schmerzen notwendigen Ressourcen verfügt. Ob ein solcher Ausnahmefall vorliegt, entscheidet sich im Einzelfall anhand verschiedener Kriterien. Im Vordergrund steht die Feststellung einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer. Massgebend sein können auch weitere Faktoren, so: chronische körperliche Begleiterkrankungen; ein mehrjähriger, chronifizierter Krankheitsverlauf mit unveränderter oder progredienter Symptomatik ohne länger dauernde Rückbildung; ein sozialer Rückzug in allen Belangen des Lebens; ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf einer an sich missglückten, psychisch aber entlastenden Konfliktbewältigung (primärer Krankheitsgewinn; "Flucht in die Krankheit"); das Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischen Ansatz) trotz kooperativer Haltung der versicherten Person. Je mehr dieser Kriterien zutreffen und je ausgeprägter sich die entsprechenden Befunde darstellen, desto eher sind - ausnahmsweise - die Voraussetzungen für eine zumutbare Willensanstrengung zu verneinen (<ref-ruling> E. 4.1 S. 67 f. mit Hinweisen).
3. 3.1 Nach einlässlicher Würdigung der medizinischen Aktenlage ist das kantonale Gericht zum Ergebnis gelangt, dass der Beschwerdeführer im für den Leistungsanspruch massgebenden Zeitpunkt unter keinen somatischen, die Arbeitsfähigkeit erheblich einschränkenden Befunden litt. In psychischer Hinsicht ging es namentlich gestützt auf das psychiatrische Gutachten des Dr. med. S._, Facharzt FMH Psychiatrie und Psychotherapie, vom 12. Oktober 2009 vom Vorliegen einer somatoformen Schmerzstörung aus, hielt diese jedoch für überwindbar und verneinte daher einen invalidisierenden Gesundheitsschaden.
3.2 Die Diagnose einer somatoformen Schmerzstörung ist unbestritten. Der Beschwerdeführer rügt jedoch, entgegen der Auffassung der Vorinstanz sei es ihm nicht zumutbar, die somatoforme Schmerzstörung vollumfänglich zu überwinden. Zudem macht er geltend, die Folgen des Unfallereignisses seien neurologisch nicht genügend abgeklärt.
4. Was zunächst die Rüge der ungenügenden neurologischen Abklärung anbelangt, hat Frau Dr. med. I._, Fachärztin für Neurologie FMH, Versicherungsmedizin, in der Beurteilung vom 25. September 2008 wohl ausgeführt, die Schmerzen in den Armen liessen sich überwiegend wahrscheinlich als Folge des Elektrounfalls erklären und eine Schädigung von peripheren Nerven, die in elektrophysiologischen Untersuchungen nicht nachweisbar sein müsse, sei mit dem klinischen Bild eines neuropathischen Schmerzes vereinbar. Im Bericht vom 4. September 2009 über die abschliessende neurologische Untersuchung vom 21. Juli 2009 hielt die Fachärztin unter Bezugnahme auf den früheren Bericht jedoch fest, aus neurologischer Sicht sei das diffuse Schmerzbild in seiner Gesamtheit nicht zu erklären. Die erhebliche Einschränkung der Leistungsfähigkeit sei nicht mit überwiegender Wahrscheinlichkeit durch eine neurologische Störung zu erklären. Neuropathische Schmerzen bzw. Schmerzen im Allgemeinen bedingten nicht zwanglos eine Einschränkung der Arbeitsfähigkeit. Objektivierbare oder strukturelle Läsionen im Bereich des Gehirns, des cervikalen Rückenmarks und der peripheren Nerven an den Armen seien als Unfallfolgen nicht ausgewiesen. Wenn das kantonale Gericht gestützt auf die medizinische Aktenlage unter Verzicht auf weitere Abklärungen vom Fehlen somatischer, die Arbeitsfähigkeit erheblich einschränkender Befunde ausging, ist dies im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden.
5. 5.1 Was die psychischen Beschwerden anbelangt, zählt zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zunächst, ob eine anhaltende somatoforme Schmerzstörung (oder ein damit vergleichbarer syndromaler Zustand) vorliegt, und bejahendenfalls sodann, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (<ref-ruling> E. 1.2 S. 66 mit Hinweisen).
5.2 Gemäss dem angefochtenen Entscheid liegt eine somatoforme Schmerzstörung vor und ist keines der Kriterien, welche praxisgemäss gegen die Überwindbarkeit der Schmerzproblematik sprechen würden, gegeben. Vielmehr habe sich die Schmerzstörung - so die Vorinstanz - vor dem Hintergrund und unter der Bedingung der äusserst ungünstigen psychosozialen Verhältnisse, für welche die Invalidenversicherung nicht einzustehen habe, herausgebildet.
5.3 Bei seiner Beurteilung stützt sich das kantonale Gericht insbesondere auf das psychiatrische Gutachten des Dr. med. S._ vom 12. Oktober 2009, in welchem unter "Prognose und Behandlung" festgehalten wurde, es liege weder eine komorbide psychische Erkrankung noch ein umfassender sozialer Rückzug oder ein primärer Krankheitsgewinn vor. Der Beschwerdeführer legt nicht dar, inwiefern die Vorinstanz eine psychische Komorbidität (von erheblicher Schwere, Intensität, Ausprägung und Dauer; <ref-ruling> E. 4.1 S. 67) rechtsfehlerhaft ausgeschlossen habe. Es bedürfte hiezu etwa einer von depressiven Verstimmungszuständen klar unterscheidbaren andauernden Depression (<ref-ruling> E. 5a S. 299) im Sinne eines verselbstständigten Gesundheitsschadens (SVR 2008 IV Nr. 62 S. 203, 9C_830/2007 E. 4.2), welcher unabhängig von der somatoformen Schmerzstörung als erhebliche psychische Komorbidität ausnahmsweise auf die Unzumutbarkeit einer willentlichen Schmerzüberwindung schliessen liesse (vgl. <ref-ruling> E. 3.3.1 S. 358; Urteil 8C_976/2010 vom 23. Februar 2011 E. 5.6). Gleiches gilt in Bezug auf die von der Praxis alternativ zum Vorliegen einer psychischen Komorbidität umschriebenen Kriterien, welche eine adäquate Schmerzbewältigung objektiv konstant und intensiv behindern können (vgl. <ref-ruling> E. 4.1 S. 67 mit Hinweisen). Die Einwände des Beschwerdeführers beziehen sich weitgehend ebenfalls auf die psychosozialen Verhältnisse und vermögen eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellung beziehungsweise eine diesbezügliche Rechtsverletzung nicht zu begründen, weshalb das Bundesgericht daran gebunden ist.
5.4 Entgegen der Auffassung des Beschwerdeführers liegt schliesslich im Umstand, dass die Vorinstanz von der gutachterlichen Einschätzung der psychisch bedingten Arbeitsunfähigkeit durch Dr. med. S._ abgewichen ist, keine willkürliche (<ref-law>) oder anderweitig rechtsfehlerhafte Beweiswürdigung. Nach den zutreffenden Erwägungen im angefochtenen Entscheid darf bei der invalidenversicherungsrechtlichen Beurteilung der invalidisierenden Wirkung anhaltender somatoformer Schmerzstörungen oder sonstiger vergleichbarer pathogenetisch (ätiologisch) unklarer syndromaler Zustände (<ref-ruling> E. 3.2 S. 399) nicht einfach unbesehen auf die ärztlichen - selbst die gutachterlich attestierten - Einschätzungen abgestellt werden, zumal der Invaliditätsbegriff rechtlicher Natur ist (<ref-law>) und nicht zwingend mit dem medizinischen Krankheits- oder Invaliditätsverständnis übereinstimmt. Da das Beschwerdebild vorliegend durch ausgeprägte psychosoziale Faktoren bestimmt ist, hat das kantonale Gericht die von Dr. med. S._ bescheinigte 50%ige Einschränkung der Arbeitsfähigkeit im Rahmen der invalidenversicherungsrechtlichen Leistungszusprache zu Recht nicht berücksichtigt.
5.5 Zusammenfassend hält die vorinstanzliche Beurteilung, wonach die Schmerzproblematik im Sinne der Rechtsprechung überwindbar und daher nicht invalidisierend ist, vor Bundesrecht stand. Das schliesst einen Rentenanspruch aus und führt zur Abweisung der Beschwerde.
6. Die Kosten des Verfahrens werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. November 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Kopp Käch