Sachverhalt:
A.
Mit Verfügung vom 27. Dezember 2000 sprach die IV-Stelle des Kantons Zürich H._ ab 1. Januar 1999 eine halbe Invalidenrente zu. Am 19. Februar 2002 erhöhte sie diese per 1. Dezember 2001 auf eine ganze Rente. Mit Mitteilung vom 3. Februar 2005 bestätigte sie die ganze Invalidenrente mangels rentenbeeinflussender Änderung. Im September 2010 leitete die IV-Stelle ein erneutes Revisionsverfahren ein. Mit Verfügung vom 20. Juli 2011 hob sie die laufende Invalidenrente gestützt auf das psychiatrisch-rheumatologische Gutachten des Instituts X._ vom 10. März 2011 und dessen Ergänzung vom 31. März/1. April 2011 per Ende August 2011 auf.
B.
Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 1. Februar 2013 ab.
C.
H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, es sei die Sache unter Aufhebung des kantonalen Entscheids an die Vorinstanz oder an die IV-Stelle zur Neubeurteilung zurückzuweisen. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden. Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>).
1.2. Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2.
Streitig ist einerseits, ob auf das Gutachten des Instituts X._ vom 10. März 2011 und dessen Ergänzung vom 31. März/1. April 2011 abgestellt werden kann, andererseits, ob die Berechnung der Vergleichseinkommen und der daraus resultierende Invaliditätsgrad korrekt sind.
3.
Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und der Erwerbsunfähigkeit (<ref-law>) sowie die Voraussetzungen einer Rentenrevision (<ref-law>; <ref-ruling> E. 3.5 S. 349), einschliesslich der massgebenden zeitlichen Vergleichspunkte (<ref-ruling> E. 3 S. 132; <ref-ruling>; <ref-ruling> E. 3.2.3 S. 75), sowie den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 2 IVG) zutreffend dargelegt. Dasselbe gilt für die Aufgabe des Arztes bei der Ermittlung des Invaliditätsgrades (<ref-ruling> E. 4 S. 99) und die Anforderungen an einen ärztlichen Bericht (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
Zu ergänzen bleibt, dass das Bundesgericht mit BGE 9C_207/2012 vom 3. Juli 2013 entschieden hat, die Rechtsprechung von <ref-ruling> sei bei mono- und bidisziplinären Gutachten - mit Ausnahme der Zuteilung nach dem Zufallsprinzip (<ref-law>) - sinngemäss anwendbar.
4.
4.1. Die IV-Stelle hat - in Missachtung der Grundsätze nach <ref-ruling> - dem Institut X._ die Sache zur Erläuterung unterbreitet, ohne dass sie dem Versicherten Gelegenheit geboten hätte, ebenfalls Erläuterungs- oder Ergänzungsfragen zu stellen. Nachdem der Versicherte auch nachträglich darauf verzichtet hat, entsprechende Fragen vorzubringen, kann dieser Verfahrensmangel als geheilt betrachtet werden (<ref-ruling> E. 5.5 S. 116).
4.2. Soweit der Versicherte geltend macht, die Vorinstanz sei zu Unrecht von einer vollständigen zumutbaren Arbeitsfähigkeit in seinem angestammten Beruf als Bäckereimitarbeiter ausgegangen, ist dies unbehelflich. Denn für die Ermittlung des Invaliditätsgrades ist die zumutbare Arbeitsfähigkeit in einer den Behinderungen angepassten Tätigkeit massgebend, ungeachtet dessen, ob es sich dabei um die bisherige oder aber um eine Verweisungstätigkeit handelt (<ref-law>). Sofern von einer zumutbaren vollen Arbeitsfähigkeit in einer Verweisungstätigkeit auszugehen ist - was nachfolgend zu prüfen sein wird -, spielt es keine Rolle, ob der Versicherte auch als Bäckereimitarbeiter voll arbeiten könnte.
4.3. Weiter ist der Einwand, dem Gutachten des Instituts X._ vom 10. März 2011 und dessen Ergänzung vom 31. März/1. April 2011 könne nicht gefolgt werden, da der rheumatologische Teilgutachter seine Einschätzung ohne nachvollziehbare Begründung und ohne Rücksprache mit seinem (psychiatrischen) Mitgutachter geändert habe, zu prüfen.
Die Kritik an der Änderung des Gutachtens durch den rheumatologischen Teilgutachter Dr. med. J._ ist insofern verständlich, als dass die Ergänzung vom 31. März/1. April 2011 nicht in nachvollziehbarer und begründeter Weise darlegt, weshalb der Versicherte gestützt auf die im Übrigen unveränderte Beurteilung nunmehr nur noch zu 50 % in der angestammten Tätigkeit einsetzbar sei. Diese Frage kann jedoch offen bleiben, da für die Ermittlung des Invaliditätsgrades die zumutbare Arbeitsfähigkeit in einer angepassten Tätigkeit massgebend ist (vgl. E. 4.2). Diesbezüglich kann auf das erste Gutachten vom 10. März 2011 abgestellt werden, beantwortet es doch alle für die Feststellung der Invalidität notwendigen Fragen in nachvollziehbarer und begründeter Weise. So ist dem Versicherten eine leidensangepasste Tätigkeit (leichte bis mittelschwere Arbeit ohne repetitiv gebückte Positionen mit Wechsel zwischen sitzender und stehender Position) voll zumutbar. Davon geht auch die Vorinstanz aus. Allerdings hat sie in der Folge keinen Einkommensvergleich durchgeführt, sondern lediglich festgestellt, der Versicherte erleide damit keine rentenbegründende Erwerbseinbusse. Diese Schlussfolgerung ist angesichts des hohen Valideneinkommens nicht offensichtlich gegeben und vermag ohne nähere Begründung nicht zu überzeugen, weshalb die Sache an die Vorinstanz zurückgewiesen wird, damit sie unter Beachtung der vollen Zumutbarkeit einer leidensangepassten Tätigkeit den Invaliditätsgrad im Rahmen eines Einkommensvergleichs ermittle und über den Anspruch auf eine Invalidenrente neu entscheide.
5.
Das Verfahren ist kostenpflichtig. Die unterliegende IV-Stelle hat die Gerichtskosten zu tragen (<ref-law>). Der Versicherte hat Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 1. Februar 2013 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 3. Oktober 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Riedi Hunold