Sachverhalt: A. A.a. A._, geboren 1979, ist gelernter Maurer. Im Februar 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Auf Kosten der Invalidenversicherung absolvierte er eine Umschulung, die er am 9. Juli 2004 mit einem Handelsdiplom abschloss. A.b. Am 18. Oktober 2007 stürzte er bei der Arbeit auf einer Baustelle ca. 3 m in die Tiefe und zog sich eine Commotio cerebri, eine kraniale Berstungsspaltfraktur Th11 sowie eine Fraktur des C7-Bogens links und des Proc. spinosus zu. Am 6. Mai 2009 prallte A._ mit dem Velo bei einem Ausweichmanöver in eine Strassenlaterne und erlitt eine laterale Klavikulafraktur links. Mit Verfügung vom 20. November 2009 sprach ihm der zuständige Unfallversicherer (die Schweizerische Unfallversicherungsanstalt, Suva) ab 1. September 2009 eine Invalidenrente bei einem Invaliditätsgrad von 11 % sowie eine Integritätsentschädigung für die beiden Unfälle bei einer Integritätseinbusse von 20 % zu. A.c. Am 6. August 2015 leitete die Suva ein Revisionsverfahren ein. Nach erfolgten Abklärungen in beruflicher Hinsicht hob sie mit Verfügung vom 5. Juli 2016 die Invalidenrente per 31. Dezember 2013 auf und forderte die in der Zeit von 1. Januar 2014 bis 31. Oktober 2015 zu viel bezahlten Renten in der Höhe von Fr. 11'069.30 zurück. Daran hielt sie mit Einspracheentscheid vom 19. Januar 2017 fest. Dies wurde vom Sozialversicherungsgericht des Kantons Zürich am 31. Januar 2018 und vom Bundesgericht mit Urteil 8C_253/2018 vom 19. Februar 2019 (publiziert in BGE 145 V 141) bestätigt. A.d. Am 25. Mai 2016 erlitt A._ wiederum einen Unfall, als er vom Velo stürzte und sich eine Berstungsspaltfraktur BWK 7 zuzog. Im Oktober 2016 ersuchte er erneut um Leistungen der Invalidenversicherung. Die IV-Stelle des Kantons Zürich nahm berufliche Abklärungen vor und zog die Akten des Unfallversicherers, nunmehr die Helsana Unfall AG, bei. In der Folge sprach sie ihm Frühinterventionsmassnahmen in Form von Hilfsmitteln (zwei Sattelstühle) und Support am Arbeitsplatz unter Gewährung eines IV-Taggeldes zu. Die Eingliederungsmassnahmen wurden abgebrochen, nachdem A._ mitgeteilt hatte, diese hätten seinen Zustand negativ beeinflusst. Die IV-Stelle schloss sich mit eigenen Fragen dem von der Helsana in Auftrag gegebenen Gutachten an. Gestützt auf das bidisziplinäre Gutachten vom 26. Juli/3. August 2018 (neurologisch/ orthopädisch-unfallchirurgisch) des Zentrums B._ verneinte die IV-Stelle mit Verfügung vom 19. November 2018 einen Leistungsanspruch. B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 29. Mai 2020 ab. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid und die Verfügung vom 19. November 2018 aufzuheben und die Sache sei an die IV-Stelle zur Einholung eines polydisziplinären Gutachtens zurückzuweisen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.