Sachverhalt:
A. Der 1966 geborene F._ war bei der Z._ AG als Bauarbeiter und Fassadenmonteur angestellt, als er am 5. Februar 1998 von einem Gerüst stürzte und eine Fraktur des linken Hüftgelenks und linken Ellbogens erlitt. Im Juni 2003 meldete er sich wegen Ellbogen- und Hüftbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Am 23. Mai 2004 zog er sich zudem bei einem Sturz mit dem Velo eine Unterschenkelfraktur rechts zu. Die IV-Stelle Bern klärte den Sachverhalt ab, holte unter anderem ein orthopädisches Gutachten ein und sprach ihm mit Verfügungen vom 19. Oktober und 21. November 2007 ab dem 1. Oktober 2003 eine halbe Invalidenrente bei einem Invaliditätsgrad von 53 % zu. Die hiegegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid vom 2. Juni 2008 gut und wies die Sache zu weiteren Abklärungen an die IV-Stelle Bern zurück.
Diese holte am 28. März 2009 zunächst erneut ein orthopädisches Gutachten ein und stellte im Vorbescheid vom 27. Mai 2009 gestützt auf dieses Gutachten bei einem Invaliditätsgrad von 57 % eine halbe Rente in Aussicht. An einzelnen Tagen im Februar, März und Juni 2010 führte sie mittels Videoüberwachung von F._ eine Beweissicherung vor Ort (BvO) durch (Bericht vom 14. Juni 2010) und liess am 8. Juni 2010 eine persönliche Untersuchung durch den Regionalen Ärztlichen Dienst (RAD) vornehmen. Mit neuem Vorbescheid vom 30. September 2010 stellte die IV-Stelle F._ ab 1. Oktober 2003 eine Viertelsrente bei einem Invaliditätsgrad von 46 % in Aussicht. In der Verfügung vom 15. April 2011 hielt sie am Vorbescheid fest und verfügte eine Viertelsrente.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 17. Oktober 2011 bei einem Invaliditätsgrad von 40 % ab.
C. Mit Beschwerde lässt F._ beantragen, der vorinstanzliche Entscheid sei aufzuheben, die Akten der Observation seien aus dem Recht zu weisen und es seien ihm Rentenleistungen ab dem 1. Oktober 2003 basierend auf einem Invaliditätsgrad von mehr als 57 % auszurichten. Eventualiter sei die Sache zur Durchführung eines Beweisverfahrens und zum Erlass eines neuen Entscheides an die Vorinstanz zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil 8C_670/2011 vom 10. Februar 2012 E. 3.2 mit Hinweis).
2. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie von einem Invaliditätsgrad von 40 % und nicht von einem solchen von mehr als 57 % ausging, wie vom Beschwerdeführer beantragt wird.
2.1 Nachdem die Vorinstanz mit Entscheid vom 2. Juni 2008 die Sache an die Beschwerdegegnerin zur ergänzenden Abklärung zurückgewiesen hatte, holte diese am 28. März 2009 bei Dr. med. H._, Spezialarzt für orthopädische Chirurgie, ein medizinisches Gutachten ein. Dr. med. H._ kam zum Schluss, es bestünden erhebliche körperliche Beeinträchtigungen mit massiven Beschwerden und starker Funktionsstörung des linken Ellbogens und mässigen Beschwerden und minimalen Funktionsstörungen an der linken Hüfte. Der Grad der Arbeitsfähigkeit habe sich anfangs nach dem Unfall langsam verschlechtert und sei seit fünf Jahren konstant. Zumutbar seien noch Arbeiten mit Heben von Gewichten links bis zu 1 kg, rechts unbegrenzt. Das Tragen von Gewichten sei links bis maximal 1 kg und rechts bis maximal 5 kg möglich. Die Stehdauer an Ort betrage bis zu 30 Minuten, mit Gewichtsverlagerung bis 45 Minuten. Sitzdauer ohne Bewegung ca. 30 Minuten, mit Bewegung auf guter Sitzgelegenheit (aktives Sitzen) bis maximal eine Stunde. Gehstrecken auf ebenem Gelände seien ca. 500 m bzw. während ca. 30 Minuten möglich. Eine optimal angepasste Tätigkeit unter Wechselbelastung, mehrheitlich sitzend, wäre über sechs Stunden pro Tag zumutbar mit einer länger dazwischengeschalteten Pause von ein bis zwei Stunden und ev. zusätzlichen kürzeren Pausen. Ideal wäre eine Tätigkeit mit einem Dreistundenblock vormittags und nachmittags mit einer dazwischengeschalteten Pause von mindestens 15 Minuten. Es bestehe eine verminderte Leistungsfähigkeit von 10 % aufgrund der angegebenen Einschränkungen, aber auch im Hinblick auf das Arbeitstempo, insbesondere beim Wechsel vom Sitzen zum Stehen und Gehen.
Diese Beurteilung steht in wesentlicher Übereinstimmung mit den Berichten des SUVA-Kreisarztes Dr. med. G._ vom 4. Juli 2006 und dem Abklärungsbericht der BEFAS vom 17. März 2006. In beiden Abklärungen wurde ebenfalls eine Arbeitsfähigkeit von sechs Stunden pro Tag in einer angepassten Tätigkeit festgehalten.
2.2 Die Beschwerdegegnerin liess den Beschwerdeführer am 8. Juni 2010 durch Dr. med. P._, Facharzt für orthopädische Chirurgie vom RAD, untersuchen. Der RAD-Arzt kam in seinem Untersuchungsbericht und in einer zusätzlichen Stellungnahme vom 8. September 2010 in Abweichung zur Beurteilung des eingeholten Gutachtens von Dr. med. H._ zum Schluss, dem Versicherten sei in einer angepassten Tätigkeit ein volles Pensum mit einer maximalen Leistungminderung von 20 % wegen Verlangsamung und Bewegungseinschränkung im Bereich des linken Armes und wegen vermehrter Pausen vonseiten der linken Hüften zuzumuten.
3. Die Beschwerdegegnerin observierte den Versicherten am 15., 16. und 17. Februar 2010, am 3. und 4. März 2010 sowie am 8. Juni 2010 und erstellte am 14. Juni 2010 einen BvO-Bericht.
Der Beschwerdeführer lässt die Rechtmässigkeit dieser Observation bestreiten. Er macht geltend, es fehle an einem rechtsgenüglichen Anfangsverdacht.
3.1 Entscheidend für die Veranlassung einer Observation ist nicht der aus der Strafverfolgung stammende und im Zusammenhang mit dem privatrechtlichen Persönlichkeitsschutz regelmässig nicht verwendete Begriff "Anfangsverdacht", sondern vielmehr die objektive Gebotenheit der Observation als wichtiges Element der Interessenabwägung im Persönlichkeitsschutz (<ref-ruling> E. 4.2. S. 416 ff. mit Hinweis auf <ref-ruling> E. 2c S. 74). Dies hat gleichfalls für den verfassungsrechtlichen Persönlichkeitsschutz zu gelten. Die Observation muss demnach objektiv geboten sein, womit gemeint ist, dass konkrete Anhaltspunkte vorliegen müssen, die Zweifel an den geäusserten gesundheitlichen Beschwerden oder der geltend gemachten Arbeitsunfähigkeit aufkommen lassen. Solche Anhaltspunkte können beispielsweise gegeben sein bei widersprüchlichem Verhalten der versicherten Person, oder wenn Zweifel an der Redlichkeit derselben bestehen (eventuell durch Angaben und Betrachtungen Dritter), bei Inkonsistenzen anlässlich der medizinischen Untersuchung, Aggravation, Simulation oder Selbstschädigung u.Ä. Diese Elemente können einzeln oder in Kombination zureichende Hinweise liefern, die zur objektiven Gebotenheit der Observation führen (<ref-ruling> E. 5.4.2.1 S. 332).
Den Akten ist hierzu zu entnehmen, dass Dr. med. P._ den Verdacht äusserte, der Versicherte aggraviere, wenn nicht sogar simuliere möglicherweise die von ihm geltend gemachten Beschwerden (BvO-Bericht vom 14. Juni 2010). Diese Angaben des RAD-Arztes werden gestützt durch die Ausführungen von SUVA-Kreisarzt Dr. med. G._ im Bericht vom 4. Juli 2006, wonach er gewisse Ungereimtheiten sähe. Muskuläre Atrophien lägen trotz jahrelangen Inaktivitätshypotrophie nicht vor. Die Unter- und Oberschenkel seien hervorragend ausgebildet. Auch dem Gutachten von Dr. med. H._ ist zu entnehmen, dass der Verdacht auf Aggravation bei der quantitativen subjektiven Beurteilung nicht sicher auszuschliessen sei und der Beschwerdeführer sich bei Diskussionen über die erfolgten Arbeitsbemühungen in gewisse Widersprüche verwickle. Darauf verwies bereits die Vorinstanz. Deren Feststellung, dass die Beschwerdegegnerin berechtigt war, den Beschwerdeführer zu observieren, erweist sich damit nicht als bundesrechtswidrig.
3.2 Der Versicherte hat Anspruch auf Akteneinsicht im Verwaltungsverfahren vor der IV-Stelle (<ref-law>). Das Interesse der Beschwerdegegnerin, Unterlagen, die Hinweise auf laufende Observationsabklärungen enthalten, erst nach deren Durchführung den Akten hinzuzufügen, um die Observation nicht zu gefährden, ist damit nachvollziehbar und berechtigt. Der von Dr. med. P._ geäusserte Verdacht auf Aggravation bzw. Simulation des Versicherten ist im Abschnitt "Interessennachweis" im BvO-Bericht vom 14. Juni 2010 festgehalten. Eine vom Beschwerdeführer geltend gemachte Verletzung der Aktenführungspflicht ist daher zu verneinen. Das Akteneinsichtsrecht des Versicherten ist auch nicht verletzt, weil bei insgesamt 134 chronologisch geordneten Dokumenten zwei Akten (Dokument 128 und 129) in zeitlicher Hinsicht vertauscht sind.
3.3 Der Beschwerdeführer behauptet, am Observationstag vom 3. März 2010 habe die Überwachungsperson während seines Einkaufs in einem Laden mutwillig den Pneu seines Velos beschädigt, sodass er das Velo zu Fuss habe nach Hause stossen müssen. Er verweist dazu auf den Umstand, dass die Überwachungsperson während seines Aufenthalts im Laden keine Videoaufnahmen gemacht hatte. Diesen Vorwurf weist die Beschwerdegegnerin in ihrer Stellungnahme vom 10. Juni 2011 zurück.
Die Vorinstanz setzte sich mit den Einwänden des Versicherten auseinander und führte aus, aufgrund des Bildmaterials der Parteien sei nicht erstellt, aus welchen Gründen der Velo-Pneu Luft verloren habe und wie bzw. durch wen die mit Bildern des Beschwerdeführers geltend gemachte Beschädigung des Velo-Pneus erfolgt sei. Diese Feststellung ist nicht offensichtlich unrichtig. Aus den fehlenden Videoaufnahmen während des Aufenthalts des Beschwerdeführers im Laden kann nicht geschlossen werden, die Überwachungsperson habe auch das Velo beschädigt. Das kantonale Gericht verneinte damit zu Recht ein Verwertungsverbot der Abklärungsergebnisse aufgrund der Vermutungen des Versicherten.
4. 4.1 Den Akten ist nicht zu entnehmen, ob der RAD-Arzt Dr. med. P._ bei seiner Untersuchung vom 8. Juni 2010 (Bericht vom 30. August 2010) Kenntnis der Ergebnisse des BvO-Berichts über die vorgenommene Observation hatte. Der BvO-Bericht datiert vom 14. Juni 2010. Die Observationen fanden jedoch bereits an einzelnen Tagen im Februar und März 2010 und am Tag der Untersuchung durch Dr. med. P._ statt. Im BvO-Bericht wird angegeben, die Observation sei aufgrund des Verdachts des RAD-Arztes auf mögliche Aggravation oder Simulation durchgeführt worden. In seinem Untersuchungsbericht erwähnte Dr. med. P._ die vorgenommenen Observationen und deren Ergebnisse allerdings nicht. Für den Beweiswert eines Arztberichtes ist wichtig, dass dieser in Kenntnis der Vorakten erstellt wird (<ref-ruling> E. 5.1 S. 232, 125 V 351 E. 3a S. 352). Dr. med. P._ führt in der Anamnese seines Berichtes verschiedene Vorakten auf. Weder dort noch an einer anderen Stelle im Untersuchungsbericht finden sich jedoch Hinweise, wonach Resultate der Observation Einfluss auf seine Beurteilung hatten. Es ist deshalb davon auszugehen, dass die Observationsergebnisse in diesem Bericht nicht berücksichtigt wurden.
In der medizinischen Stellungnahme vom 8. September 2010 zu den Einwänden des Versicherten erwähnte Dr. med. P._ dann den BvO-Bericht vom 14. Juni 2010. Auch hier ist jedoch nicht ersichtlich, dass dieser Einfluss auf seine Ausführungen und Stellungnahmen hatte. Er zog keine medizinischen Schlüsse aus den Observationsergebnissen.
Da es vorliegend an einer medizinischen Beurteilung der Ergebnisse der Observation fehlt (vgl. <ref-ruling> E. 4 S. 99), kann nicht gefolgert werden, die Observation würde eine höhere Arbeitsfähigkeit belegen als im Gutachten von Dr. med. H._ attestiert wurde (Urteil 8C_434/2011 vom 8. Dezember 2011 E. 4.2 mit Hinweis).
4.2 Die Beschwerdegegnerin gibt an, es sei ihr nicht verwehrt, einzig oder im Wesentlichen gestützt auf die versicherungsinterne Beurteilung des RAD zu entscheiden.
Das ist grundsätzlich zutreffend. In einem solchen Fall sind gemäss der Rechtsprechung an die Beweiswürdigung allerdings strenge Anforderungen zu stellen: Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen, ist eine versicherungsexterne medizinische Begutachtung im Verfahren nach <ref-law> oder ein Gerichtsgutachten anzuordnen (<ref-ruling> E. 4 S. 467 ff.; <ref-ruling> E. 1d S. 162).
Die Frage des Abstellens auf versicherungsinterne Beurteilungen stellt sich in der Regel in Fällen, in denen noch keine externe medizinischen Gutachten vorliegen, da gemäss der genannten Rechtsprechung bei geringen Zweifeln ein solches anzuordnen ist. Dies ist hier nicht der Fall. Mit dem Gutachten von Dr. med. H._ vom 28. März 2009 wurde bereits eine versicherungsexterne medizinische Begutachtung eingeholt. Es stehen sich somit ein versicherungsexternes Gutachten und eine versicherungsinterne Beurteilung des RAD-Arztes gegenüber. Im Sinne einer Richtlinie ist solchen im Rahmen des Verwaltungsverfahrens eingeholten Gutachten von externen Spezialärzten, welche aufgrund eingehender Beobachtungen und Untersuchungen sowie nach Einsicht in die Akten Bericht erstatten und bei der Erörterung der Befunde zu schlüssigen Ergebnissen gelangen, volle Beweiskraft zuzuerkennen, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227, 125 V 351 E. 3b/bb S. 353).
Die Frage des Abstellens auf versicherungsinterne Beurteilungen stellt sich in der Regel in Fällen, in denen noch keine externe medizinischen Gutachten vorliegen, da gemäss der genannten Rechtsprechung bei geringen Zweifeln ein solches anzuordnen ist. Dies ist hier nicht der Fall. Mit dem Gutachten von Dr. med. H._ vom 28. März 2009 wurde bereits eine versicherungsexterne medizinische Begutachtung eingeholt. Es stehen sich somit ein versicherungsexternes Gutachten und eine versicherungsinterne Beurteilung des RAD-Arztes gegenüber. Im Sinne einer Richtlinie ist solchen im Rahmen des Verwaltungsverfahrens eingeholten Gutachten von externen Spezialärzten, welche aufgrund eingehender Beobachtungen und Untersuchungen sowie nach Einsicht in die Akten Bericht erstatten und bei der Erörterung der Befunde zu schlüssigen Ergebnissen gelangen, volle Beweiskraft zuzuerkennen, solange nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (<ref-ruling> E. 1.3.4 S. 227, 125 V 351 E. 3b/bb S. 353).
4.3 4.3.1 Die Einschätzung des versicherungsinternen RAD-Arztes Dr. med. P._ weicht vom externen medizinischen Gutachten des Dr. med. H._ ab. Zu prüfen bleibt unter Berücksichtigung der genannten Grundsätze zum Beweiswert von Gutachten und zur Beweiswürdigung, ob Dr. med. P._ konkrete Indizien benennt, die gegen die Zuverlässigkeit des Gutachtens sprechen oder Aspekte aufzeigt, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind.
4.3.2 Dr. med. P._ begründete seine Einschätzung der Arbeitsfähigkeit bei der Untersuchung vom 8. Juni 2010 mit Hinweis auf die linke Hüfte. Soweit er allerdings die fehlende Muskelatrophie an den Beinen erwähnte, ist dieser Umstand bereits im Gutachten von Dr. med. H._ vom 28. März 2009 berücksichtigt worden und floss in dessen Beurteilung mit ein. Der Vermerk von Dr. med. P._, wonach sich der Versicherte bei der Untersuchung hinkefrei zeigte, stimmt ebenfalls mit den Untersuchungsergebnissen von Dr. med. H._ überein. Die von Dr. med. P._ beobachtete Gehstrecke auf dem Weg nach Hause von ca. 300 Meter liegt innerhalb der von Dr. med. H._ für zumutbar erachteten Gehstrecke von 500 Metern. Der RAD-Arzt übte keine eigentliche Kritik am Gutachten von Dr. med. H._ oder benannte Indizien, die gegen das Gutachten sprechen, sondern erhob im Wesentlichen die gleichen Befunde wie bereits der Gutachter. In seiner Stellungnahme vom 8. September 2010 verteidigte er zudem das Gutachten von Dr. med. H._ gegen Einwände des Versicherten.
Das kantonale Gericht führte aus, es sei nicht nachvollziehbar, dass Dr. med. H._ trotz Verdachts auf ein aggravierendes Verhalten ein Pensum von zweimal drei Stunden täglich mit einer um 10 % eingeschränkten Leistungsfähigkeit für zumutbar halte. Entgegen dieser Auffassung ist auch bei Vorliegen des vom Gutachter erkannten aggravierenden Verhaltens eine Einschränkung der Arbeitsfähigkeit nicht ausgeschlossen. Der RAD-Arzt Dr. med. P._ bescheinigte ebenfalls eine solche, die nur geringfügig unter derjenigen von Dr. med. H._ lag.
4.3.3 Die Vorinstanz bemängelte, dass Dr. med. H._ eine mehrheitlich sitzende Tätigkeit für zumutbar hielt, indessen aufgrund der Befunde vor allem Probleme beim Sitzen bestünden. Nach Angaben von Dr. med. P._ in seinem Untersuchungsbericht müssten aufgrund der MRI-Befunde und der Diagnose eines Impingements sowie der beruflichen Abklärung anfangs 2006 eigentlich vor allem die Sitz- und weniger die Gehfähigkeit eingeschränkt sein. Dies könnte an sich als Indiz gegen den Beweiswert des Gutachtens angesehen werden. Allerdings ist auch dem Zumutbarkeitsprofil von Dr. med. P._ lediglich eine sitzende Tätigkeit zu entnehmen, bei der allenfalls intermittierend kurz Gehpausen als sinnvoll erachtet wurden. Dr. med. H._ präzisierte ebenfalls, dass die Sitzdauer ohne Bewegung nur ca. 30 Minuten betrage und mit guter Sitzgelegenheit (aktives Sitzen) max. eine Stunde. Die Möglichkeit zur regelmässigen Wechselbelastung müsse gegeben sein. Ausserdem müsse eine Sitzgelegenheit mit Schrägkissen und Beinfreiheit vorhanden sein.
Wenn das kantonale Gericht in der Beurteilung der mehrheitlich sitzenden Tätigkeit im Gutachten von Dr. med. H._ einen Mangel am Beweiswert dieses Gutachtens sieht, handelt es sich somit um eine offensichtlich unrichtige Feststellung. Die Einschränkungen in der Sitzfähigkeit wurden von Dr. med. H._ gebührend berücksichtigt.
4.3.4 Dr. med. P._ stellte bei seiner Untersuchung mit Verweis auf den Bericht des Spitals X._ vom 2. Juni 2010 eine objektive Verbesserung der Schmerzsymptomatik fest, weil der Versicherte nicht mehr auf dauernde Analgetikaeinnahme angewiesen sei. In der Beurteilung vom 8. September 2010 berichtete er zudem, er habe bezüglich der linken Hüfte im Vergleich zum Gutachten von Dr. med. H._ im Jahr 2008 eindeutig eine Verbesserung dokumentieren können. Eine Verbesserung der Hüftproblematik und der Gehstrecke dank der durchgeführten Therapien im Spital X._ bestätigte aber auch der Beschwerdeführer selber (Beschwerde vom 22. November 2011 S. 13).
Damit sind hinreichend Hinweise für eine Verbesserung des Gesundheitszustandes seit dem Gutachten von Dr. med. H._ vorhanden. Die Verbesserung stellt einen neuen, im Gutachten noch nicht berücksichtigten Aspekt dar, womit konkrete Indizien gegen den Beweiswert des Gutachtens vorliegen. Der relevante Sachverhalt hat sich seither in massgeblicher Weise verändert.
Damit sind hinreichend Hinweise für eine Verbesserung des Gesundheitszustandes seit dem Gutachten von Dr. med. H._ vorhanden. Die Verbesserung stellt einen neuen, im Gutachten noch nicht berücksichtigten Aspekt dar, womit konkrete Indizien gegen den Beweiswert des Gutachtens vorliegen. Der relevante Sachverhalt hat sich seither in massgeblicher Weise verändert.
4.4 4.4.1 Dr. med. P._ gab in seinem Untersuchungsbericht an, in Bezug auf die Problematik am linken Ellbogen könne vom Zumutbarkeitsprofil des SUVA-Kreisarztes Dr. med. B._ und vom Gutachten von Dr. med. H._ ausgegangen werden. Die Situation in diesem Bereich sei aus orthopädischer Sicht klar und die Einschränkungen begründet. Wenn die Vorinstanz angibt, das Gutachten von Dr. med. H._ sei nicht nachvollziehbar und dazu im Zusammenhang mit dem linken Ellbogen auf den BvO-Bericht verweist, widerspricht sie damit auch der Einschätzung des RAD-Arztes Dr. med. P._. Dieser berichtete, seines Erachtens sei ein volles Pensum zumutbar bei einer maximalen Leistungsminderung von 20 % auch in ideal angepasster Tätigkeit; dies infolge der Bewegungseinschränkung und der Kraft am linken Arm. Weshalb er trotz Bestätigung der Einschränkungen am linken Ellbogen der Dres. med. B._ und H._ in der Beurteilung der daraus resultierenden Arbeitsfähigkeit von diesen abwich, ist aus seinem Untersuchungsbericht und dem Bericht vom 8. September 2010 allerdings nicht ersichtlich. Diese auf rein subjektiver ärztlicher Einschätzung beruhende Abweichung vom Gutachten begründet Zweifel an der versicherungsinternen Beurteilung von Dr. med. P._.
4.4.2 Soweit die Vorinstanz in Bezug auf die Befunde am linken Ellbogen auf die Observationsergebnisse verwies, ergeben sich daraus tatsächlich Hinweise, dass die von Dr. med. H._ bescheinigten Beeinträchtigungen am linken Ellbogen mit einer Limite beim Heben und Tragen von 1 kg nicht zutreffen. So wurde der Beschwerdeführer beobachtet, wie er ohne feststellbare körperliche Einschränkungen je ein Getränkegebinde mit sechs Flaschen à 1.5 Liter in der rechten und in der linken Hand von seiner Garage in sein Haus trug. Eine medizinische Einordnung dieser Tatsache fand bisher aber nicht statt. Dr. med. P._ schloss sich bezüglich des linken Ellbogens dem Zumutbarkeitsprofil von Dr. med. H._ an, ohne Berücksichtigung dieser Observationsaufnahmen oder einer Stellungnahme seinerseits dazu. Der Versicherte wendet zu Recht ein, aus dem Tragen der Flaschen könnten keine Rückschlüsse auf eine kontinuierliche, repetitive Belastung bei einer beruflichen Tätigkeit gezogen werden. Dazu müsste ein medizinischer Experte Stellung nehmen. Allenfalls müsste beim medizinischen Zumutbarkeitsprofil zur Häufigkeit des Hebens von leichten und schwereren Lasten differenziert werden.
4.4.3 Entgegen der Annahme des Beschwerdeführers ist aus dem Gutachten von Dr. med. H._ ersichtlich, dass bei dessen Beurteilung neben den Ellbogenproblemen auch die Hüftproblematik eine Reduktion der Arbeitsfähigkeit begründete. So berichtete dieser, es bestehe eine verminderte Leistungsfähigkeit gemäss seinen Angaben zum Zumutbarkeitsprofil, aber auch im Hinblick auf das Arbeitstempo, insbesondere beim Wechsel vom Sitzen zum Stehen und Gehen. Die verminderte Leistungsfähigkeit betrage ca. 10 %. Arbeiten auf unebenem Gelände sowie auf Treppen und Leitern seien nicht mehr zumutbar. Eine Verbesserung der Einschränkungen im Bereich der Hüften wirkt sich damit direkt auf die Arbeitsfähigkeit des Versicherten aus.
4.5 Die bestehenden Divergenzen hinsichtlich der unterschiedlichen Beurteilung der zumutbaren Arbeitsfähigkeit zwischen dem Gutachten von Dr. med. H._ und des versicherungsinternen RAD-Arztes Dr. med. P._ können im Rahmen der Beweiswürdigung nicht aufgelöst werden. Die gegenteilige Annahme der Vorinstanz widerspricht den Vorgaben zur Beweiswürdigung (E. 4.2 hievor) und stellt damit eine Verletzung von Bundesrecht dar (E. 1.2 hievor). Die Einschätzung des Dr. med. P._ vermag zwar teilweise neue, bisher im Gutachten von Dr. med. H._ nicht berücksichtigte, Aspekte aufzuzeigen, jedoch keine vom Gutachten abweichende und abschliessende Beurteilung der Arbeitsfähigkeit zu rechtfertigen. Vielmehr ist bei dieser Ausgangslage ein neues versicherungsexternes medizinisches Gutachten einzuholen. Dabei sind auch die Ergebnisse der Observation zu berücksichtigen (vgl. <ref-ruling> E. 7.1 und E. 7.3 S. 337 und 338). Aus dem neuen Gutachten muss ersichtlich sein, inwiefern die Ergebnisse der Observation in die medizinische Beurteilung mit einfliessen. In teilweiser Gutheissung der Beschwerde ist die Sache daher zur Einholung eines Gerichtsgutachtens an die Vorinstanz zurückzuweisen (vgl. <ref-ruling> E. 4.4.1.4 S. 264). Nach erfolgter Begutachtung hat die Vorinstanz erneut über den Anspruch des Beschwerdeführers auf Leistungen der Invalidenversicherung zu entscheiden.
5. Die Rückweisung der Sache an das kantonale Gericht oder an den Versicherungsträger zur erneuten Abklärung (mit noch offenem Ausgang) gilt praxisgemäss (<ref-ruling> E. 6.1 S. 235 mit Hinweisen) für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als volles Obsiegen im Sinne von Art. 86 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie überhaupt beantragt, oder ob das entsprechende Begehren im Haupt- oder Eventualantrag gestellt wird. Entsprechend dem Ausgang des Verfahrens sind die Gerichtskosten daher der unterliegenden Beschwerdegegnerin aufzuerlegen. Dem obsiegenden, anwaltlich vertretenen Beschwerdeführer steht eine aufwandgemässe Parteientschädigung zu.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern vom 17. Oktober 2011 aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Schweizerischer Baumeisterverband und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 27. März 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Leuzinger
Der Gerichtsschreiber: Kathriner