Sachverhalt:
A.
A.a. A._, geboren 1979, ist gelernter Maurer. Im Februar 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Auf Kosten der Invalidenversicherung absolvierte er eine Umschulung, die er am 9. Juli 2004 mit einem Handelsdiplom abschloss.
A.b. Am 18. Oktober 2007 stürzte er bei der Arbeit auf einer Baustelle ca. 3 m in die Tiefe und zog sich eine Commotio cerebri, eine kraniale Berstungsspaltfraktur Th11 sowie eine Fraktur des C7-Bogens links und des Proc. spinosus zu. Am 6. Mai 2009 prallte A._ mit dem Velo bei einem Ausweichmanöver in eine Strassenlaterne und erlitt eine laterale Klavikulafraktur links. Mit Verfügung vom 20. November 2009 sprach ihm der zuständige Unfallversicherer (die Schweizerische Unfallversicherungsanstalt, Suva) ab 1. September 2009 eine Invalidenrente bei einem Invaliditätsgrad von 11 % sowie eine Integritätsentschädigung für die beiden Unfälle bei einer Integritätseinbusse von 20 % zu.
A.c. Am 6. August 2015 leitete die Suva ein Revisionsverfahren ein. Nach erfolgten Abklärungen in beruflicher Hinsicht hob sie mit Verfügung vom 5. Juli 2016 die Invalidenrente per 31. Dezember 2013 auf und forderte die in der Zeit von 1. Januar 2014 bis 31. Oktober 2015 zu viel bezahlten Renten in der Höhe von Fr. 11'069.30 zurück. Daran hielt sie mit Einspracheentscheid vom 19. Januar 2017 fest. Dies wurde vom Sozialversicherungsgericht des Kantons Zürich am 31. Januar 2018 und vom Bundesgericht mit Urteil 8C_253/2018 vom 19. Februar 2019 (publiziert in <ref-ruling>) bestätigt.
A.d. Am 25. Mai 2016 erlitt A._ wiederum einen Unfall, als er vom Velo stürzte und sich eine Berstungsspaltfraktur BWK 7 zuzog. Im Oktober 2016 ersuchte er erneut um Leistungen der Invalidenversicherung. Die IV-Stelle des Kantons Zürich nahm berufliche Abklärungen vor und zog die Akten des Unfallversicherers, nunmehr die Helsana Unfall AG, bei. In der Folge sprach sie ihm Frühinterventionsmassnahmen in Form von Hilfsmitteln (zwei Sattelstühle) und Support am Arbeitsplatz unter Gewährung eines IV-Taggeldes zu. Die Eingliederungsmassnahmen wurden abgebrochen, nachdem A._ mitgeteilt hatte, diese hätten seinen Zustand negativ beeinflusst. Die IV-Stelle schloss sich mit eigenen Fragen dem von der Helsana in Auftrag gegebenen Gutachten an. Gestützt auf das bidisziplinäre Gutachten vom 26. Juli/3. August 2018 (neurologisch/ orthopädisch-unfallchirurgisch) des Zentrums B._ verneinte die IV-Stelle mit Verfügung vom 19. November 2018 einen Leistungsanspruch.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 29. Mai 2020 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid und die Verfügung vom 19. November 2018 aufzuheben und die Sache sei an die IV-Stelle zur Einholung eines polydisziplinären Gutachtens zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Rechtsfrage ist, ob die rechtserheblichen Tatsachen vollständig festgestellt und ob der Untersuchungsgrundsatz bzw. die Beweiswürdigungsregeln nach Art. 61 lit. c ATSG beachtet wurden. Gleiches gilt für die Frage, ob die Anforderungen an den Beweiswert von Arztberichten erfüllt wurden. Bei den aufgrund dieser Berichte getroffenen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. Leistungsfähigkeit sowie bei der konkreten Beweiswürdigung geht es grundsätzlich um Sachverhaltsfragen (nicht publ. E. 1 des Urteils <ref-ruling>).
2.
Streitig ist, ob die Vorinstanz zu Recht den Anspruch auf eine Invalidenrente verneint hat.
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze über die Begriffe der Invalidität (Art. 8 Abs. 1 ATSG) und der Erwerbsunfähigkeit (Art. 7 Abs. 1 und 2 ATSG) sowie den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG) zutreffend dargelegt. Dasselbe gilt für die Neuanmeldung (Art. 87 Abs. 3 IVV), die dabei zu berücksichtigenden Voraussetzungen einer Revision der Invalidenrente (Art. 17 Abs. 1 ATSG), den Untersuchungsgrundsatz (Art. 43 Abs. 1 ATSG) und die allgemeinen beweisrechtlichen Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
4.
4.1. Der Beschwerdeführer macht geltend, die Begründung der Vorinstanz in ihrer E. 5.7, wonach kein Anlass für eine zusätzliche psychiatrische Begutachtung gegeben sei, stelle eine Verletzung des Untersuchungsgrundsatzes nach Art. 43 Abs. 1 ATSG dar.
4.2. Vorweg ist festzuhalten, dass es dem Beschwerdeführer nicht schadet, sich bei seiner Rüge auf Art. 43 Abs. 1 ATSG, der den Untersuchungsgrundsatz auf Verwaltungsstufe statuiert, statt auf Art. 61 lit. c ATSG, der den Untersuchungsgrundsatz für das kantonale Gerichtsverfahren festhält, zu stützen. Denn die beiden Artikel sind inhaltlich identisch (vgl. statt vieler <ref-ruling> E. 5.2 S. 279 sowie Susanne Bollinger, in: Basler Kommentar, Allgemeiner Teil des Sozialversicherungsrechts, 2020, N. 36 zu Art. 61 ATSG und Ueli Kieser, Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts, 4. Aufl. 2020, N. 106 zu Art. 61 ATSG) und das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG).
4.3. Die Vorinstanz hielt in ihrer E. 5.7 fest:
"Schliesslich lässt sich nicht nachvollziehen, weshalb eine zusätzliche psychiatrische Abklärung im Bereich der Invalidenversicherung angezeigt gewesen wäre (...). Der Beschwerdeführer macht nicht geltend, dass er sich in fachpsychiatrische Behandlung begeben habe und liess auch keine Berichte eines behandelnden Psychiaters auflegen. Entsprechend ist nicht ersichtlich, weshalb in dieser Hinsicht weitere Abklärungen erforderlich gewesen sein sollten."
4.4. Für die Beantwortung der Frage, ob auch eine psychiatrische Abklärung vorzunehmen gewesen wäre, ist mit dem Beschwerdeführer einerseits auf den Bericht der Klinik C._ vom 9. Februar 2017 zu verweisen, mit welchem diese beim Unfallversicherer um Kostengutsprache ersuchte. Darin hielt sie u.a. fest, der Beschwerdeführer habe bereits sechs psychotherapeutische Konsultationen hinter sich, und stellte die Verdachtsdiagnose einer depressiven Verstimmung, verstärkt seit Mai 2016. Andererseits erwähnten die Experten des Zentrums B._ diesen Bericht nicht in ihren Teilgutachten, sondern führten nur die Stellungnahme des Vertrauensarztes der Helsana dazu auf. Weiter wird beim Aktenauszug der beiden Teilgutachten die Aussage des Beschwerdeführers festgehalten, wonach sich die Schmerzen deutlich auf seinen psychischen Zustand auswirken würden und bei der Medikation/Behandlung werden gemäss seinen Angaben Antidepressiva sowie eine Therapie bei einer Schmerzpsychologin angeführt. Die Teilgutachter kamen beide zum Schluss, dass die geltend gemachten erheblichen Schmerzen somatisch nicht erklärbar seien, und konstatierten psychosoziale Belastungsfaktoren (Trennung von der Partnerin, mit der er zwei Kinder habe, und Verlust des Arbeitsplatzes). Sie stellten jedoch keine psychische (Verdachts-) Diagnose, begründeten aber auch nicht, weshalb trotz dieser Umstände kein Bedarf für eine psychiatrische Abklärung gegeben sei. Die blosse Feststellung des neurologischen Experten, Zeichen einer psychiatrischen Erkrankung im Sinne einer relevanten Depression seien im psychopathologischen Querschnitt nicht zu erkennen, reicht unter den konkreten Umständen nicht aus, zumal er eine erheblich gestörte Schmerzverarbeitung diagnostiziert.
Bei dieser Sachlage verstösst es gegen den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) und damit gegen Bundesrecht, wenn die Vorinstanz die Notwendigkeit einer psychiatrischen Begutachtung mangels geltend gemachter psychiatrischer/psychologischer Behandlung sowie fehlender fachärztlicher Berichte verneint. Die Sache ist nach dem Gesagten antragsgemäss an die Verwaltung zurückzuweisen, damit sie ein polydisziplinäres Gutachten einhole und über den Anspruch auf Leistungen der Invalidenversicherung neu befinde (<ref-ruling> E. 4.4.1.4 S. 264).
5.
Bei diesem Verfahrensausgang kann offen bleiben, wie es sich mit der vom Beschwerdeführer gerügten Verletzung des Art. 44 ATSG verhält.
6.
Das Verfahren ist kostenpflichtig. Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Mai 2020 und die Verfügung der IV-Stelle des Kantons Zürich vom 19. November 2018 werden aufgehoben. Die Sache wird zu neuer Verfügung an die IV-Stelle des Kantons Zürich zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Oktober 2020
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Riedi Hunold