Sachverhalt: A. A._, geboren 1971, meldete sich im März 2008 bei der Invalidenversicherung zum Leistungsbezug an und gab an, er sei bis auf Weiteres voll arbeitsunfähig. Gestützt auf sein Schreiben an die Vorsorgeeinrichtung vom 10. September 2007, mit welchem er mitteilte, er sei seit 3. August 2007 wieder voll arbeitsfähig, erhob diese Einwand gegen die vorgesehene Zusprechung einer (halben) Invalidenrente, teilte aber auch mit, dass A._ ab Oktober 2007 erneut voll arbeitsunfähig sei. Mit Verfügung vom 26. Mai 2009 sprach die IV-Stelle des Kantons Zürich A._ ab 1. August 2008 eine ganze Invalidenrente zu. Die Vorsorgeeinrichtung reichte dagegen Beschwerde ein. Per 1. Mai 2010 nahm A._ eine Arbeit bei der B._ AG auf. Mit Entscheid vom 22. Juni 2010 wies das Sozialversicherungsgericht des Kantons Zürich die Sache unter Aufhebung der Rentenverfügung an die IV-Stelle zu weiteren Abklärungen und neuer Festsetzung des Rentenbeginns zurück. Der zuständige Berater von A._ stellte der IV-Stelle Berichte zum Verlauf der Erwerbstätigkeit zu, welche erneut Schwierigkeiten beim Erhalt der Stelle aufzeigten. Mit Verfügung vom 19. Mai 2011 forderte die IV-Stelle mangels Verrechnung mit den Leistungen des Krankenversicherers zu viel ausgerichtete Renten zurück. Am 12. September 2011 sprach die IV-Stelle von 1. August 2008 bis 31. Mai 2009 eine ganze Invalidenrente zu und verrechnete diese. Mit Schreiben vom 16. Januar 2012 ersuchte A._ die IV-Stelle dringend um eine Besprechung, da sich bei seiner neuen Stelle (C._ AG) dieselben gesundheitlichen Beschwerden bemerkbar machten, welche er schon bei seinem früheren Arbeitgeber B._ AG gehabt habe. Am 29. März 2012 erliess die IV-Stelle den Vorbescheid zur vorgesehenen Rückforderung infolge rückwirkend reduzierter Invalidenrente sowie die Verfügung der neu von 1. Juli 2008 bis 31. Juli 2010 befristeten halben Invalidenrente. Mit Verfügungen vom 16. Mai 2012 sprach sie A._ von 1. Juli 2008 bis 31. Juli 2010 eine halbe Invalidenrente zu und forderte die von 1. August 2008 bis 31. März 2012 zu viel ausbezahlten Rentenbetreffnisse zurück. Nachdem A._ dagegen hatte Beschwerde erheben lassen, verfügte die IV-Stelle in Absprache mit dem Rechtsvertreter am 3. Dezember 2012 zur Behebung eines Eröffnungsfehlers erneut die Rückforderung für zu viel bezahlte Renten vom 1. Juni 2009 bis 31. März 2012 in der Höhe von Fr. 48'844.-. Mit Entscheid vom 7. August 2013 hob das Sozialversicherungsgericht des Kantons Zürich diese Verfügungen auf und stellte einen Anspruch auf eine ganze Invalidenrente von 1. Juli 2008 bis 31. Juli 2009 sowie auf eine halbe Invalidenrente von 1. August 2009 bis 31. Juli 2010 fest, nahm die vor dem 29. März 2011 ausbezahlten Renten von der Rückforderung aus und wies die Sache zur Neuberechnung der Rückforderung an die IV-Stelle zurück. Gestützt auf diesen Entscheid stellte die IV-Stelle am 11. November 2013 die Rückforderung von Fr. 22'272.- für die Zeit vom 1. April 2011 bis 31. März 2012 in Aussicht, was sie mit Verfügung vom 24. März 2014 bestätigte. A._ liess dagegen Beschwerde einreichen. Mit der lite pendente erlassenen Verfügung vom 2. Oktober 2014 verlangte die IV-Stelle die Rückforderung von Fr. 11'794.70 infolge zu viel ausbezahlter Rentenbetreffnisse in der Zeit vom 1. April 2011 bis 31. März 2012, indem sie die am 1. Juli 2014 zugesprochenen Taggelder mit der Rückforderung gemäss Verfügung vom 24. März 2014 verrechnete. B. Mit Entscheid vom 28. Januar 2015 stellte das Sozialversicherungsgericht des Kantons Zürich das Dahinfallen der Verfügung vom 24. März 2014 fest und schützte die Rückforderung im Umfang der Verfügung vom 2. Oktober 2014. C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es seien der vorinstanzliche Entscheid aufzuheben, soweit damit die Rückforderung im Betrag von Fr. 11'794.70 geschützt werde, und festzustellen, dass keine Rückerstattungspflicht bestehe.