Sachverhalt:
A.
A._, geboren 1973, meldete sich am 15. November 2010 zum Leistungsbezug bei der Invalidenversicherung an. Er hatte sich seit August 2010 der Dialyse mit anschliessender Nierentransplantation im April 2012 sowie einem Aortaklappenersatz im August 2010 unterziehen müssen. Die IV-Stelle des Kantons Zürich sprach ihm am 17. August 2012 ab 1. August 2011 eine ganze und ab 1. April 2012 eine Dreiviertelsrente zu. A._ liess dagegen Beschwerde erheben und verlangte die Ausrichtung einer ganzen Rente bis 30. November 2012 und hernach einer Dreiviertelsrente. Die IV-Stelle beantragte unter Aufhebung der Verfügungen vom 17. August 2012 die Rückweisung der Sache an sich selber, um über den Zeitraum von April bis September 2012 neu zu befinden. Das Sozialversicherungsgericht des Kantons Zürich wies am 7. November 2012 die Sache zu weiteren Abklärungen und neuem Entscheid an die IV-Stelle zurück.
Mit Verfügung vom 23. Februar 2016 sprach die IV-Stelle A._ gestützt auf das polydisziplinäre Gutachten vom 29. September 2015 vom 1. August 2011 bis 30. April 2013 eine ganze Rente zu. Am 15. Juni 2016 forderte sie von ihm zu viel bezahlte Renten von insgesamt Fr. 21'385.- zurück; diese Verfügung erwuchs unangefochten in Rechtskraft. A._ stellte am 24. August 2016 ein Gesuch um vollumfänglichen Erlass der Rückforderung, was die IV-Stelle mit Verfügung vom 4. November 2016 ablehnte.
B.
Das Sozialversicherungsgericht wies die dagegen erhobene Beschwerde mit Entscheid vom 22. Dezember 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und ihm die Rückforderung von Fr. 21'385.- zu erlassen.
Die Vorinstanz liess sich am 9. März 2018 unter Verzicht auf einen Antrag zur Beschwerde von A._ vernehmen. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig ist, ob der Versicherte sich auf den guten Glauben als Voraussetzung eines Erlasses der Rückforderung berufen kann.
3.
3.1. Die Vorinstanz hat die Bestimmungen und Grundsätze über die kumulativ notwendigen Voraussetzungen des Erlasses einer Rückerstattung (<ref-law>; <ref-ruling> E. 4 S. 220; <ref-ruling> E. 6.2 S. 47) zutreffend dargelegt. Darauf wird verwiesen.
3.2. Anzufügen bleibt, dass nach der Rechtsprechung bei der Frage nach der Gutgläubigkeit beim Leistungsbezug hinsichtlich der Überprüfungsbefugnis des Gerichts zu unterscheiden ist zwischen dem guten Glauben als fehlendem Unrechtsbewusstsein und der Frage, ob sich jemand unter den gegebenen Umständen auf den guten Glauben berufen kann oder ob er bei zumutbarer Aufmerksamkeit den bestehenden Rechtsmangel hätte erkennen sollen. Die Frage nach dem Unrechtsbewusstsein gehört zum inneren Tatbestand und wird daher als Tatfrage von der Vorinstanz für das Bundesgericht grundsätzlich verbindlich beurteilt. Demgegenüber gilt die Frage nach der gebotenen Aufmerksamkeit als frei überprüfbare Rechtsfrage, soweit es darum geht, festzustellen, ob sich jemand angesichts der jeweiligen tatsächlichen Verhältnisse auf den guten Glauben berufen kann (<ref-ruling> E. 3 S. 223; SVR 2015 ALV Nr. 6 S. 16, 8C_670/2014 E. 3.3; Urteil 8C_243/2016 vom 7. Juli 2016 E. 4.2 mit Hinweisen).
4.
Die Vorinstanz hat in für das Bundesgericht verbindlicher Weise festgestellt (E. 1.2 und 3.2), dass der Versicherte während des Beschwerdeverfahrens vor Vorinstanz im Herbst 2012 rechtskundig vertreten war und daher um die mit der Rückweisung drohende Schlechterstellung wusste, weshalb er sich nach Erlass des Entscheids vom 7. November 2012 nicht mehr auf fehlendes Unrechtsbewusstsein berufen konnte. Folglich sprach sie ihm den guten Glauben bei Erhalt der zu Unrecht erhaltenen Leistungen ab.
Der Versicherte macht geltend, entgegen der vorinstanzlichen Annahme sei er im Zeitpunkt der erhaltenen Leistungen nicht rechtskundig vertreten gewesen, weshalb für ihn der Massstab für Laien gelte. Er legt jedoch nicht in rechtsgenüglicher Weise (E. 1.2) dar, inwiefern die entsprechende vorinstanzliche Sachverhaltsfeststellung, er habe infolge der rechtskundigen Vertretung sich nicht auf fehlendes Unrechtsbewusstsein berufen dürfen, willkürlich sein soll. Ein Verweis auf Ausführungen in früheren Rechtsschriften vermag jedenfalls den Begründungsanforderungen von <ref-law> nicht zu genügen (<ref-ruling> E. 1.3 S. 306). Dass er im Nachgang zum Entscheid vom 7. November 2012 nicht mehr durch die Rechtsschutzversicherung vertreten war, spielt keine Rolle. Denn gestützt auf das ihm anrechenbare Unrechtsbewusstsein wusste er oder hätte bei gebotener Aufmerksamkeit zumindest um die drohende Schlechterstellung und damit auch um die Möglichkeit der Unrechtmässigkeit allfällig noch ausgerichteter Leistungen wissen müssen. Unter diesen Umständen hatte er mit einer Rückerstattung allenfalls zu viel erbrachter Leistungen zu rechnen (BGE <ref-ruling> E. 6.2 S. 48). Nach dem Gesagten ist der gute Glaube zu verneinen.
Da der Versicherte keine weiteren Einwände vorbringt, hat es beim vorinstanzlichen Entscheid sein Bewenden.
5.
Das Verfahren ist kostenpflichtig. Der unterliegende Versicherte hat die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. Juni 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Heine
Die Gerichtsschreiberin: Riedi Hunold