Sachverhalt:
A.
Der als selbstständiger Bauunternehmer tätige S._, geboren 1963, meldete sich im Mai 2000 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern sprach ihm nach beruflichen und medizinischen Abklärungen mit Verfügungen vom 11. April 2001 und 7. Juni 2002 berufliche Massnahmen zu (Umschulung zum technischen Kaufmann; Praktikum in einem Immobilienunternehmen; PC-Anwenderkurs). Ab 1. August 2002 arbeitete S._ beim Bundesamt X._. Am 24. Februar 2004 sprach ihm die IV-Stelle von 1. September 2000 bis 30. April 2001 eine halbe Invalidenrente zu und verneinte einen Rentenanspruch von Mai 2001 bis Juli 2002 infolge Zahlung von IV-Taggeldern.
Im Januar 2006 meldete sich S._ erneut zum Leistungsbezug an. Die IV-Stelle nahm berufliche und medizinische Abklärungen vor. Anfangs 2007 liess S._ mitteilen, er könne ab 1. Februar 2007 beim ehemaligen Arbeitgeber in einer neuen Funktion zu 30 % arbeiten; das Arbeitspensum liesse sich allenfalls aufstocken, weshalb das Verfahren für ein halbes Jahr zu sistieren sei. Gemäss Schlussbericht des Berufsberaters vom 29. Mai 2008 zeigte sich S._ nicht motiviert, mehr als ein 50 %-Pensum zu leisten, so dass berufliche Massnahmen nicht erfolgsversprechend seien. Nach weiteren medizinischen Abklärungen, darunter das bidisziplinäre Gutachten des Dr. med. H._, Facharzt für Psychiatrie und Psychotherapie, und des Dr. med. R._, Facharzt für Physikalische Medizin und Rehabilitation sowie für Rheumatologie, vom 2. April 2009 (nachfolgend: bidisziplinäres Gutachten), verfügte die IV-Stelle am 3. März 2010 ab 1. Februar 2005 eine ganze und ab 1. Februar 2007 eine Viertelsrente.
B.
Das Verwaltungsgericht des Kantons Bern wies die dagegen erhobene Beschwerde - nach Androhung einer reformatio in peius - mit Entscheid vom 10. Juli 2013 ab und stellte fest, S._ habe im Rahmen seiner Neuanmeldung keinen Anspruch auf eine Rente der Invalidenversicherung.
C.
S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben und die IV-Stelle zu verpflichten, ihm von Februar 2005 bis Februar 2007 eine ganze Invalidenrente und ab Februar 2007 eine die Viertelsrente übersteigende Invalidenrente auszurichten. Eventualiter habe die IV-Stelle die Invalidität ab Februar 2005 resp. ab Februar 2007 rechtsgenüglich abzuklären und über den Rentenanspruch ab Februar 2005 neu zu verfügen. Subeventualiter sei die IV-Stelle zu verpflichten, im Rahmen von Wiedereingliederungsbemühungen einen medizinisch begleiteten Arbeitsversuch durchzuführen.
Die IV-Stelle beantragt unter Verweis auf den kantonalen Entscheid die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. BGE 130 III 136 E. 1.4 S. 140). Gemäss Art. 42 Abs. 1 BGG ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (Art. 108 Abs. 1 lit. b BGG). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.2. Nach Art. 105 BGG legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach Art. 97 Abs. 1 BGG und für eine Berichtigung des Sachverhalts von Amtes wegen nach Art. 105 Abs. 2 BGG stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in Art. 106 Abs. 2 BGG genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von Art. 105 Abs. 2 BGG, die dem Richter geradezu in die Augen springen (BGE 133 IV 286 E. 6.2 S. 288; 133 II 249 E. 1.4.3 S. 255).
2.
Die Vorinstanz hat die Bestimmungen und Grundsätze über das anwendbare Recht (BGE 132 V 215 E. 3.1.1 S. 220), den Begriff der Invalidität (Art. 8 Abs. 1 ATSG) und der Erwerbsunfähigkeit (Art. 7 Abs. 1 ATSG), sowie den Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG in der ab 1. Januar 2008 geltenden Fassung; bis 31. Dezember 2007 Art. 28 Abs. 1 IVG) und die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG) zutreffend dargelegt. Dasselbe gilt für die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (BGE 132 V 93 E. 4 S. 99) und den Beweiswert ärztlicher Berichte (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352), namentlich in Bezug auf hausärztliche Berichte (BGE 125 V 351 E. 3b/cc S. 353) und den Unterschied zwischen Behandlungs- und Begutachtungsauftrag (SVR 2008 IV Nr. 15 S. 43 E. 2.2.1, I 514/06). Darauf wird verwiesen.
3.
Der Versicherte macht geltend, die Vorinstanz habe den medizinischen Sachverhalt einseitig eingeschätzt, und rügt eine Verletzung des rechtlichen Gehörs, des Untersuchungsgrundsatzes und des Anspruchs auf ein faires Verfahren sowie eine unrichtige Rechtsanwendung bezüglich der Bestimmung des Invalideneinkommens.
4.
Soweit der Versicherte geltend macht, auf das bidisziplinäre Gutachten könne nicht abgestellt werden, weil die Dres. med. H._ und R._ oft für die Invalidenversicherung als Gutachter tätig seien, kann ihm nicht gefolgt werden. Nach gefestigter Praxis stellt die regelmässige Beauftragung mit Begutachtungen für sich allein keinen Ausstandsgrund dar (BGE 137 V 210 E. 1.3.3 S. 226); diese Rechtsprechung gilt sinngemäss auch bei bidisziplinären Gutachten (BGE 139 V 349). Damit ist der Anspruch auf ein faires Verfahren nicht verletzt.
5.
Die Vorinstanz beurteilte die gesundheitlichen Einschränkungen und die zumutbare Arbeitsfähigkeit des Versicherten gestützt auf das bidisziplinäre Gutachten vom 2. April 2009. Zudem erwähnte sie die Gutachten des Dr. med. B._, Facharzt für orthopädische Chirurgie und Traumatologie des Bewegungsapparates, vom 30. Oktober 2006 und 11. Juli 2008, und den Bericht des Dr. med. E._, med. Gutachter SIM, vom 23. November 2010 sowie die Äusserungen des RAD-Arztes, Facharzt für Allgemeine Medizin, vom 28. Februar 2011. Hingegen liess sie das Gutachten des Prof. Dr. med. U._, Facharzt für Neurologie, vom 17. Mai 2010 ausser Acht, ja erwähnte dieses nicht einmal. Dies stellt nicht nur eine Verletzung des Untersuchungsgrundsatzes (Art. 61 lit. c ATSG), sondern auch des rechtlichen Gehörs (Art. 29 Abs. 2 BV) dar, indem das kantonale Gericht nicht sämtliche relevanten medizinischen Berichte berücksichtigte und auch nicht nachvollziehbar begründete, weshalb die Schlussfolgerungen des Prof. Dr. med. U._ in die medizinische Beurteilung nicht miteinbezogen werden können. Der Untersuchungsgrundsatz ist aber auch aus einem weiteren Grund verletzt: Nicht nur Prof. Dr. med. U._ ging von neurologischen Einschränkungen aus. Auch Dr. med. C._, Facharzt für Angiologie und Innere Medizin, beurteilte im Bericht vom 10. August 2009 die Beschwerden als musko-skelettärer und/oder neurogener Natur und Dr. med. E._ stellte zu Recht fest, es sei nicht nachvollziehbar, weshalb kein Neurologe in die Beurteilung des medizinischen Sachverhaltes miteinbezogen worden sei, seien doch mehrere Operationen erfolgt, darunter auch Neurolysen; er rügte weiter, dass Dr. med. R._ die diagnostizierte Hyperalgesie im Bereich des OSG und des distalen Unterschenkels als "nicht erklärbares Phänomen" bezeichne, ohne das Bestehen einer Allodynie oder eines neuropathischen Schmerzsyndroms auch nur in Erwägung zu ziehen. Bei dieser Aktenlage bestehen - auch unter Berücksichtigung der Aussagen des RAD-Arztes vom 28. Februar 2011 - ausreichend Zweifel am bidisziplinären Gutachten vom 2. April 2009, so dass dieses nicht massgebliche Grundlage für die Beurteilung des Anspruchs auf eine Invalidenrente bilden kann. Die Vorinstanz wäre gehalten gewesen, weitere medizinische Abklärungen zu veranlassen. Die Sache ist deshalb an das kantonale Gericht zurückzuweisen, damit es die Einholung eines Gerichtsgutachtens anordne.
6.
Schliesslich rügt der Versicherte die Bestimmung des Invalideneinkommens. Diesbezüglich ist festzuhalten, dass invaliditätsbedingte Gestehungskosten beim Invalideneinkommen unter Umständen abgezogen werden können, allerdings nur soweit sie die auch im Gesundheitsfalle entstehenden Kosten übersteigen (RKUV 2004 Nr. U 511 S. 277 E. 2.4, U 107/03). Die Vorinstanz wird diesfalls abzuklären haben, wie es sich mit dem geltend gemachten Abzug für die Benutzung des Autos zum Arbeitsort verhält. Was die Berücksichtigung eines leidensbedingten Abzugs betrifft, kann darüber nicht abschliessend befunden werden, weil der medizinische Sachverhalt nicht verbindlich festgestellt ist (oben E. 5). Der Versicherte ist jedoch darauf hinzuweisen, dass ein solcher Abzug nicht in jedem Fall vorgenommen werden darf, sondern nur, wenn die dabei zu berücksichtigenden Faktoren dies rechtfertigen (BGE 126 V 75).
7.
Das Verfahren ist kostenpflichtig. Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Der Versicherte hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 10. Juli 2013 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. Dezember 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold