Sachverhalt:
A. Der 1967 geborene H._ meldete sich am 19. Juni 2009 bei der Invalidenversicherung zum Leistungsbezug an und machte dabei Schmerzen im Bereich der Halswirbelsäule (HWS), des Rückens, des Kopfs und der Schultern geltend. Die IV-Stelle des Kantons Bern klärte den Sachverhalt ab und holte am 6. April 2010 ein interdisziplinäres Gutachten bei Dr. med. L._, Facharzt für innere Medizin und Rheumatologie, und Dr. med. E._, Facharzt für Psychiatrie und Psychotherapie, ein. Im Vorbescheid vom 29. April 2010 stellte die IV-Stelle die Ablehnung des Leistungsbegehrens in Aussicht. Mit Verfügung vom 15. Juni 2010 entschied sie im Sinne ihres Vorbescheides und verneinte einen Rentenanspruch.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 15. November 2010 ab.
C. Mit Beschwerde lässt H._ die Aufhebung des vorinstanzlichen Entscheides und die Rückweisung der Angelegenheit an die IV-Stelle Bern zu einer neuen Sachverhaltsabklärung beantragen. Eventualiter sei eine ganze Rente der Invalidenversicherung auszurichten.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1.1). Auch die konkrete Beweiswürdigung stellt eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>). Der Verzicht der Vorinstanz auf weitere Abklärungen oder Rückweisung der Sache an die IV-Stelle zu diesem Zwecke (antizipierte Beweiswürdigung; Urteil 9C_561/2007 vom 11. März 2008 E. 5.2.1) verletzt insbesondere dann Bundesrecht, wenn eine entscheidwesentliche Tatfrage, wie namentlich Gesundheitszustand und Arbeitsfähigkeit einer versicherten Person, auf unvollständiger Beweisgrundlage beantwortet wird (SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 3.1 mit Hinweisen).
2. Im angefochtenen Entscheid werden die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law>) und zum Beweiswert ärztlicher Berichte (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Die Vorinstanz stützte sich bei der Beurteilung der gesundheitlichen Beeinträchtigung des Beschwerdeführers im Wesentlichen auf das interdisziplinäre medizinische Gutachten der Dres. med. L._ und E._ vom 6. April 2010.
3.2 Der Beschwerdeführer rügt, die Begutachtung der Dres. med. L._ und E._ könne nicht als interdisziplinär bezeichnet werden. Es handle sich um zwei Einzelgutachten, insbesondere weil die einzelnen Erkenntnisse nicht im Rahmen einer gesamtheitlichen Synthese zusammengefasst worden seien.
Diesem Einwand kann nicht gefolgt werden. Dr. med. L._ gab in seinem Teilgutachten ausdrücklich an, es hätten diverse Besprechungen zwischen ihm und Dr. med. E._ im Rahmen der interdisziplinären Begutachtung stattgefunden. Im Abschnitt "Beurteilung (interdisziplinär)" seines Gutachtens findet sich einerseits eine Arbeitsfähigkeitsbeurteilung aus somatisch-rheumatologischer Sicht und andererseits eine "interdisziplinäre Einschätzung" aus somatisch-rheumatologisch und psychosomatisch-psychiatrischer Sicht. Auch Dr. med. E._ führte in seinem Teilgutachten neben seiner psychiatrischen Beurteilung die gleiche "interdisziplinäre Einschätzung" wie Dr. med. L._ auf, nämlich dass unter Berücksichtigung beider medizinischer Fachgebiete derzeit für die in der Schweiz bisher ausgeübten Tätigkeiten keine Einschränkung formuliert werden könne. Der Umstand, dass von den beiden Gutachtern keine interdisziplinäre Zusammenfassung auf einem gemeinsamen Dokument erarbeitet wurde, ist vorliegend daher nicht entscheidend. Die interdisziplinäre Zusammenarbeit der Gutachter erweist sich im vorliegenden Fall als ausreichend. Weder in den einzelnen medizinischen Fachbereichen noch bei gesamthafter Betrachtungsweise konnten die Gutachter eine Einschränkung der Arbeitsfähigkeit feststellen.
3.3 Hinsichtlich der vom Beschwerdeführer zusätzlich kritisierten psychiatrischen Begutachtung von Dr. med. E._ nahm die Vorinstanz umfassend Stellung. Dr. med. E._ diagnostizierte eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4) und eine depressive Reaktion wegen Schulden, Existenzängsten sowie familiären Schwierigkeiten (ICD-10 F43.21/Z59/Z63). Bei einer früheren Beurteilung im Austrittsbericht der Psychosomatik Lory des Inselspitals Bern vom 30. Juni 2009 wurde eine mittelschwere bis schwere Depression mit somatischem Syndrom (ICD-10 F32.2) bei psychosozialen Belastungsfaktoren (Isolation, Migration, finanzielle Sorgen) diagnostiziert. Die Vorinstanz gab dazu an, die Beurteilung des Gutachters weiche nicht wesentlich von der früheren psychiatrischen Beurteilung ab. Beide interpretierten die psychischen Befunde als Reaktion auf psychosoziale Faktoren. In der praktischen medizinischen Behandlung, wie sie in der Psychosomatik Lory des Inselspitals stattgefunden habe, würden unter Zugrundelegung eines bio-psycho-sozialen Krankheitsmodells psychosoziale und soziokulturelle Faktoren berücksichtigt, während bei der invaliditätsrechtlichen Beurteilung, welche Dr. med. E._ vornahm, diese auszuklammern seien. Diese Ausführungen stimmen mit den bundesrechtlichen Vorgaben überein, denn die rechtsanwendenden Behörden haben mit besonderer Sorgfalt zu prüfen, ob die ärztliche Einschätzung der Arbeitsunfähigkeit auch invaliditätsfremde Gesichtspunkte (insbesondere psychosoziale und soziokulturelle Belastungsfaktoren) mitberücksichtigt, welche vom sozialversicherungsrechtlichen Standpunkt aus unbeachtlich sind (vgl. <ref-ruling> E. 5a S. 299; SVR 2007 IV Nr. 33 S. 117, I 738/05 E. 5.2; AHI 2000 S. 149, I 554/98 E. 3). Im Übrigen enthält der Austrittsbericht der Psychosomatik Lory keine Beurteilung der Arbeitsfähigkeit für die Zeit nach dem Klinikaustritt. Dr. med. E._ berichtete in seinem späteren Gutachten zudem, dass sich die depressive Reaktion inzwischen auf eher tiefem Niveau stabilisiert habe. Dies wurde auch in der Stellungnahme des Ambulatoriums X._, Bern, vom 28. Juli 2010 bestätigt, in welcher aus psychiatrischer Sicht die Problematik vorwiegend in den orthopädischen Beschwerden gesehen wurde.
Die Vorinstanz prüfte sodann mögliche Umstände gemäss den Vorgaben der Rechtsprechung, welche einer Überwindung der somatoformen Schmerzstörung und ihrer Folgen mittels zumutbarer Willensanstrengung entgegen stehend könnten (<ref-ruling>, 130 V 352) und verneinte diese, was unbestritten ist. Sie würdigte die interdisziplinäre Begutachtung von Dr. med. E._ und Dr. med. L._, beurteilte sie als materiell schlüssig begründet und damit als beweiskräftige Entscheidgrundlage. Diese Würdigung erweist sich weder als offensichtlich unrichtig noch als bundesrechtswidrig.
3.4 Aus formeller Sicht rügt der Beschwerdeführer, Dr. med. E._ erstelle vorwiegend medizinische Gutachten für die IV-Stelle Bern sowie andere Versicherungen und stehe damit in wirtschaftlicher Abhängigkeit zur Beschwerdegegnerin, weshalb es ihm an der nötigen Unabhängigkeit und Neutralität mangele.
Auch hierzu nahm die Vorinstanz bereits Stellung und verwies zu Recht auf die konstante Rechtsprechung, wonach eine ausgedehnte Gutachtertätigkeit für einen Sozialversicherungsträger für sich noch keinen Befangenheitsgrund darstellt und nicht auf mangelnde Objektivität oder Voreingenommenheit schliessen lassen (SVR 2009 UV Nr. 32 S. 111, 8C_509/2008 E. 6.2 mit Hinweis auf SVR 2008 IV Nr. 22 S. 69, 9C_67/2007 E. 2.4). Die Vorinstanz ging auch auf die vom Beschwerdeführer gerügte Verletzung von Art. 6 EMRK unter Verweis auf das von ihm erwähnte Rechtsgutachten ein und verwies dazu auf <ref-ruling>, in welchem das Bundesgericht zu diesem Rechtsgutachten Stellung nahm. Letzteres bezog sich im Übrigen auf die Gutachtertätigkeit der Medizinischen Abklärungsstellen (MEDAS). Der Beschwerdeführer möchte jedoch gerade bei einer solchen Stelle ein zusätzliches Gutachten durchführen lassen, was insofern widersprüchlich wäre. Seine Einwände sind daher nicht stichhaltig.
3.5 Der Beschwerdeführer liess im vorinstanzlichen Verfahren eine Stellungnahme des Ambulatoriums X._ vom 28. Juli 2010, durch welches er psychiatrisch-psychotherapeutisch behandelt wurde, und zwei Berichte der Klinik S._ vom 15. und 29. September 2010 über die an diesen Tagen dort durchgeführten Sprechstunden, einreichen. Das kantonale Gericht berücksichtigte und würdigte diese Berichte.
Nach ständiger Rechtsprechung ist der Zeitraum bis zum Abschluss des Verwaltungsverfahrens Bezugsgrösse für den entscheidungsrelevanten Sachverhalt (<ref-ruling> E. 6 S. 397, 130 V 445 E. 1.2 S. 446). Spätere Arztberichte (und andere einschlägige Dokumente) sind in die Beurteilung miteinzubeziehen, soweit sie Rückschlüsse auf die im Zeitpunkt des Abschlusses des Verwaltungsverfahrens gegebene Situation erlauben (vgl. <ref-ruling> E. 1b in fine S. 366). Tatsachen, die den Sachverhalt seither verändert haben, bilden daher im Normalfall Gegenstand einer neuen Verwaltungsverfügung (<ref-ruling> E. 2.1 S. 243).
Die Stellungnahme des Ambulatoriums X._ wurde nach Erlass der Verfügung vom 15. Juni 2010, dem Endzeitpunkt des für den Sachverhalt relevanten Geschehens erstellt. Sie bezieht sich jedoch teilweise auf den Sachverhalt vor Abschluss des Verwaltungsverfahrens und kann insofern berücksichtigt werden. Aus psychiatrisch-psychotherapeutischer Sicht wurde festgehalten, man habe eine Besserung der Stimmung, des Antriebs und des Schlafes erreicht. Zurzeit stünden vorwiegend orthopädische Beschwerden im Sinne einer anhaltenden Schmerzsymptomatik im HWS- und LWS-Bereich im Vordergrund.
Diese Beurteilung bestätigt grundsätzlich die psychiatrische Beurteilung von Dr. med. E._, wonach sich die psychischen Beschwerden inzwischen auf tiefem Nievau stabilisiert hätten und aus invalidenversicherungsrechtlicher Sicht nicht relevant seien. Soweit sich die psychiatrische Fachärztin des Ambulatoriums X._ zu orthopädischen Beschwerden äussert, welche der Beschwerdeführer subjektiv klagte, kommt ihrer Stellungnahme aufgrund fehlender Fachkenntnisse und fehlender Untersuchungen kein Beweiswert zu.
Die beiden nachgereichten Berichte der Klinik S._, welche die Vorinstanz ebenfalls würdigte, beruhen auf Untersuchungen vom September 2010, also nach Abschluss des Verwaltungsverfahrens. Sollten sich die bereits im Gutachten von Dr. med. L._ festgestellten Befunde der HWS mit Verknöcherungen der vorderen Längsbandstrukturen seit der angefochtenen Verfügung verschlechtert haben - eine Zunahme der der Nackenbeschwerden wird ab September 2010 bestätigt (vgl. Bericht der Klinik S._ vom 22. März 2011) - oder in Zukunft weiter verschlechtern, sodass neu eine Einschränkung der Arbeitsfähigkeit resultieren würde, hätte sie der Beschwerdeführer mittels Neuanmeldung bei der Beschwerdegegnerin geltend zu machen. Nicht weiter im vorliegenden Verfahren zu berücksichtigen sind auch der vor Bundesgericht neu eingereichte Bericht des Ambulatoriums X._ vom 2. Februar 2011 und der Bericht der Klinik S._ vom 22. März 2011, welche sich ebenfalls auf den Gesundheitszustand des Beschwerdeführers nach dem 15. Juni 2010 beziehen und zudem ohnehin unzulässige Noven im Sinne von <ref-law> darstellen.
3.6 Zusammenfassend liegt keine offensichtlich unrichtige Feststellung des Sachverhalts durch die Vorinstanz oder eine sonstige Verletzung von Bundesrecht vor, welche weitere Sachverhaltsabklärungen rechtfertigen würden oder die beantragte Ausrichtung einer Rente der Invalidenversicherung begründen könnten. Die Beschwerde ist somit abzuweisen.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Mai 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner