Sachverhalt:
A.
A._, geboren 1959, musste aufgrund eines Unfalls im Februar 1978 der linke Unterschenkel amputiert werden. Deswegen erhält er seit Mai 1978 eine Teilrente der Unfallversicherung. Nach einer Lehre zum Elektronikmechaniker bildete er sich zum Ingenieur HTL in Elektronik-, Mess- und Regeltechnik weiter. Zuletzt war er von 1999 bis Juni 2003 an der Berufsschule B._ als Dozent im Informatikbereich erwerbstätig. Am 26. Juni 2012 meldete sich A._ unter Hinwies auf die Fussprothese links, ein Ganglion am rechten Fuss und einen Verdacht auf Brachialgie in den Schultern und Händen bei der IV-Stelle des Kantons Zürich (IV-Stelle) zum Leistungsbezug an. Diese verneinte einen Rentenanspruch mit Verfügung vom 6. Mai 2013. Mit Entscheid vom 29. November 2014 hiess das Sozialversicherungsgericht des Kantons Zürich die dagegen erhobene Beschwerde gut und wies die Sache zu weiteren Abklärungen und neuem Entscheid an die IV-Stelle zurück. Die IV-Stelle holte daraufhin insbesondere ein polydisziplinäres Gutachten der Zentrum für Interdisziplinäre Medizinische Gutachten AG (ZIMB) ein (Gutachten vom 1. Dezember 2015). Nach Durchführung des Vorbescheidverfahrens wies die IV-Stelle das Leistungsbegehren mit Verfügung vom 2. Mai 2016 erneut ab.
B.
Mit Entscheid vom 27. März 2017 wies das Sozialversicherungsgericht die dagegen erhobene Beschwerde ab.
C.
A._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung dieses Entscheids sowie sinngemäss die Rückweisung der Sache an die Vorinstanz, eventualiter an die IV-Stelle, zur weiteren Sachverhaltsabklärung sowie neuer Entscheidung. Zudem stellt er Antrag auf unentgeltliche Rechtspflege.
Das Bundesgericht holte die vorinstanzlichen Akten ein. Ein Schriftenwechsel wurde nicht durchgeführt. Mit Eingabe vom 9. Mai 2017 bestätigte Dr. med. C._, Ärztin für Allgemeine Medizin FMH, dem Bundesgericht, dass A._ seit 14. Dezember 2011 zu 100 % arbeitsunfähig sei.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280 f.; <ref-ruling> E. 1.4.1 S. 254). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
1.2. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend, d.h. willkürlich ist (<ref-ruling> E. 8.1 S. 153; <ref-ruling> E. 3.1 S. 44). Hingegen liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (Urteil 9C_570/2007 vom 5. März 2008 E. 4.2 mit Hinweisen). Offensichtlich unrichtig ist eine Sachverhaltsfeststellung etwa dann, wenn das kantonale Gericht den Sinn und die Tragweite eines Beweismittels offensichtlich falsch einschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_734/2016 vom 12. Juli 2017 E. 1.2 mit Hinweisen).
1.3. Die Rüge des fehlerhaft festgestellten Sachverhalts bedarf einer qualifizierten Begründung (<ref-ruling> E. 5.1 S. 356). Es reicht nicht aus, in allgemeiner Form Kritik daran zu üben, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder seine eigene Beweiswürdigung zu erläutern. Die Rüge und ihre qualifizierte Begründung müssen in der Beschwerdeschrift selber enthalten sein. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten genügt nicht (<ref-ruling> E. 2.2 S. 23). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid geht das Bundesgericht nicht ein (<ref-ruling> E. 2.2 S. 246; Urteil 9C_180/2017 vom 11. Juli 2017 E. 1.2).
1.4. Neue Tatsachen und Beweismittel dürfen im Verfahren vor Bundesgericht nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (unechte Noven; Art. 99 Abs. 1 BGG), was in der Beschwerde näher darzulegen ist (Urteil 9C_748/2014 vom 14. April 2015 E. 2.1 mit Hinweis). Tatsachen oder Beweismittel, die erst nach dem angefochtenen Entscheid sich ereignet haben oder entstanden sind (echte Noven), können nicht durch dieses Erkenntnis veranlasst worden sein und sind deshalb von vornherein unzulässig (<ref-ruling> E. 3.2.2.2 S. 548). Da das vom Beschwerdeführer eingereichte Zeugnis von Dr. med. C._ erst am 9. Mai 2017 und somit nach dem angefochtenen Entscheid ausgestellt wurde, ist es im vorliegenden Verfahren unbeachtlich.
2.
Streitig und zu prüfen ist, ob die Vorinstanz mit der Verneinung des Anspruchs auf eine Invalidenrente Bundesrecht verletzte. Die massgebenden Rechtsgrundlagen legte sie im angefochtenen Entscheid zutreffend dar. Darauf wird verwiesen (Art. 109 Abs. 3 Satz 2 BGG).
3.
In Würdigung der medizinischen Aktenlage erachtete die Vorinstanz das polydisziplinäre Gutachten der ZIMB vom 1. Dezember 2015 als beweiskräftig und ging gestützt darauf davon aus, dass die Arbeitsfähigkeit des Beschwerdeführers in angepassten Tätigkeiten nicht rentenrelevant eingeschränkt sei. Darunter falle sowohl die angestammte Tätigkeit als Ingenieur HTL für Elektronik, Mess- und Regeltechnik als auch die zuletzt ausgeübte Erwerbstätigkeit als Ausbildner im Informatikbereich. Die Experten der ZIMB diagnostizierten beim Beschwerdeführer ein chronifiziertes Überlastungssyndrom beider Hände mit/bei beidseitiger Fingerendgelenksarthrose (Heberden-Arthrose) und Ausschluss einer sonstigen rheumatologischen oder neurologischen Grunderkrankung, eine Periarthropathia humeroscapularis tendinotica et calcarea beidseits, rechtsbetont, mit/bei diskreter Supraspinatustendinose und Mikrokalzifikationen bei sonst intakter Rotatorenmanschette und beginnender Schultereckgelenksarthrose rechts sowie ein Status nach traumatischer Unterschenkelamputation links 1978, prothetisch versorgt, als Diagnosen mit Auswirkung auf die Arbeitsfähigkeit. Ausserdem stellten sie akzentuierte Persönlichkeitszüge mit narzisstischen Anteilen (ICD-10: Z73) fest, die die Arbeitsfähigkeit aber nicht beeinflussten. Eine somatoforme Schmerzstörung (ICD-10: F45.4) sowie eine kombinierte Persönlichkeitsstörung (ICD-10:F61) verneinten sie. Folglich sei der Versicherte aus rheumatologischer und orthopädischer Sicht aufgrund der verminderten Belastbarkeit seiner Hände, seiner rechten Schulter und seines linken Beins in seiner Arbeitsfähigkeit qualitativ, aber nicht quantitativ eingeschränkt. Insbesondere seien schwere manuelle Tätigkeiten wie die zuletzt im Beschäftigungsprogramm des Sozialamts ausgeübte (Schleifen von Metallteilen bei der Sozialunternehmung D._ AG) nicht zu empfehlen. Für eine behinderungsangepasste, wechselbelastende, überwiegend im Sitzen ausgeführte Tätigkeit, bestehe bezogen auf ein volles Schichtpensum, eine uneingeschränkte Arbeitsfähigkeit von 100 %.
4. Der Beschwerdeführer macht im Wesentlichen geltend, das Gutachten sei nicht vollständig, nicht nachvollziehbar und nicht schlüssig. Dennoch habe die Vorinstanz darauf abgestellt. Dies stelle eine willkürliche Beweiswürdigung dar, verstosse gegen das Gebot von Treu und Glauben (Art. 9 BV) und verletze den Anspruch auf ein faires Verfahren (Art. 6 Ziff. 1 EMRK).
4.1. Im Einzelnen rügt der Beschwerdeführer zunächst, die Vorinstanz sei zu Unrecht davon ausgegangen, dass das Gutachten der ZIMB nur bezüglich der psychiatrischen Diagnosen von den Berichten der behandelnden Ärzte abweiche. Namentlich sei im Gutachten lediglich von einem chronifizierten Überlastungssyndrom der Hände die Rede, während das von Dr. med. E._, Oberarzt Rheumatologie der Klinik F._, nach zweijähriger Behandlung und Beobachtung diagnostizierte chronifizierte Schmerzsyndrom im Schulter- und Nackenbereich fehle. Sodann könnten die vom rheumatologischen Gutachter, Dr. med. G._, Facharzt für Rheumatologie FMH, diagnostizierten Entzündungen und Kalkablagerungen an Sehnen im Schultergürtelbereich nicht für die belastungsabhängigen, starken Schmerzen im Schulterbereich verantwortlich sein. Entzündungen hätten bei ihm nie bestanden, und das chronischen Schmerzsyndrom sei eine eigenständige Erkrankung.
Bei der Diagnose der Periarthropathia humeroscapularis handelt es sich um eine Sammelbezeichnung für verschiedene, zu schmerzhafter Bewegungseinschränkung führende degenerative Prozesse im Bereich der Rotatorenmanschette, Gelenkkapsel oder langen Bizepssehne am Schultergelenk, z.B. Supraspynatussehnensyndrom, Bizepssyndrom, frozen shoulder, Rotatorenmanschettenruptur oder Hydroxylapatitkristall-Ablagerungskrankheit (Pschyrembel, Klinisches Wörterbuch, 266. Aufl., Berlin 2015, S. 1631). Mithin erfasst der Befund Schmerzsyndrome ebenso wie Kalkeinlagerungen oder Entzündungen. Die vorinstanzliche Schlussfolgerung, dass zwischen den Diagnosen der Dres. med. E._ und G._ keine wesentlichen Unterschiede bestünden, erweist sich vor diesem Hintergrund nicht als unhaltbar und wird auch durch die übrigen, weitgehend appellatorischen Vorbringen des Beschwerdeführers nicht entkräftet.
4.2. Sodann weist der Beschwerdeführer darauf hin, dass ihm die behandelnden Ärzte in den letzten Jahren durchwegs eine 100%ige Arbeitsunfähigkeit bescheinigt hätten. Das kantonale Gericht hielt hierzu - gestützt auf die Berichte der Dres. med. C._, E._ und H._, Facharzt für Allgemeine Innere Medizin FMH, spez. Rheumaerkrankungen, - fest, dass sich die Atteste mit überwiegender Wahrscheinlichkeit nur auf die zuletzt ausgeübte manuelle Tätigkeit bei der Sozialunternehmung bezogen hätten, während eine reine Bürotätigkeit ohne wesentliche Belastungen und ohne längere Stehphasen auch von den behandelnden Ärzten stets als zumutbar erachtet worden sei. Der Einwand des Beschwerdeführers, die von der Vorinstanz verwendeten Arztzeugnisse und -berichte seien nicht verlässlich, weil sie aus den Jahren 2011 und 2012 und mithin aus einer Zeit stammten, als noch keine Klarheit über seine Erkrankung bestanden habe, trifft nicht zu, weil das kantonale Gericht auch auf den Schlussbericht des Dr. med. E._ vom 28. Juli 2014 Bezug nahm. Hinzu kommt, dass Dr. med. E._ darin eine Begutachtung des Beschwerdeführers zur Bestimmung seiner Arbeitsfähigkeit in einer angepassten Tätigkeit empfahl, woraus die Vorinstanz, ohne in Willkür zu verfallen, ableiten durfte, dass die Ärzte keine generelle Arbeitsunfähigkeit attestieren wollten.
4.3. Der Beschwerdeführer wiederholt ferner seinen Vorwurf, die Gutachter der ZIMB hätten eine von ihm verfasste "Beschreibung der Beschwerden und deren Entwicklung" vom 10. Juli 2014 nicht beachtet; das Gutachten sei daher weder in Berücksichtigung aller geklagten Beschwerden noch in Kenntnis der vollständigen Vorakten ergangen und folglich nicht verwertbar. Die Vorinstanz erwiderte darauf zu Recht, dass diese Behauptung aktenwidrig sei. Denn der Chefarzt der ZIMB, Dr. med. I._, Facharzt für Innere Medizin FMH, hatte am 5. Februar 2016 auf expliziten Wunsch des Beschwerdeführers hin bestätigt, dass dieses Dokument in der Gesamtbeurteilung berücksichtigt und gewürdigt worden sei. Weiter werden die zentralen Aussagen des Schreibens vom 10. Juli 2014 im Gutachten (insbesondere in Ziff. 3.4 und 7.3) sinngemäss wiedergegeben und anschliessend auch gewürdigt. Dass das kantonale Gericht dem Schriftstück im Übrigen keine Bedeutung für die Beurteilung des Rentenanspruchs zumass, erweist sich (entgegen der Auffassung des Beschwerdeführers) weder als willkürlich noch stellt dies eine Verletzung von Art. 6 EMRK oder Art. 29 Abs. 2 BV dar. Dabei handelt es sich nämlich, wie auch die Vorinstanz richtig festhält, um eine Selbsteinschätzung des Versicherten und nicht um eine verlässliche medizinische Entscheidgrundlage, die unter Anwendung einer wissenschaftlich anerkannten medizinisch-diagnostischen Methode zustande kam (vgl. <ref-ruling> E. 5.1).
4.4. Schliesslich besteht kein Anlass, an der Fachkunde der Gutachter der ZIMB zu zweifeln, weil sich diese nicht mit der Möglichkeit eines Overuse-Syndroms (bzw. Work-related Musculoskeletal Disorder [WMSD] oder Repetitive Strain Injury [RSI]) auseinandergesetzt haben. Denn zum einen war der Verdacht auf ein Overuse-Syndrom lediglich einmal von einem der behandelnden Ärzte, Dr. med. J._, geäussert worden, der selbst aber ebenfalls nicht von dieser Diagnose überzeugt war, was den Experten bekannt war. Zum andern traten die heute geklagten Schmerzen (die letztlich zur Beendigung des Arbeitseinsatzes bei der D._ AG führten) erst nach einer längerdauernden, intensiven Beanspruchung der Hände durch das tägliche Schleifen von Metallteilen auf. Folglich bestand kein Anlass, im Gutachten ein Overuse-Syndrom zu untersuchen, das vor allem im Zusammenhang mit Schreibarbeiten am Computer diskutiert wird (vgl. Pschyrembel, a.a.O., S. 1832 zu RSI), zumal die Gutachter ohnehin gewisse Diskrepanzen zwischen den geklagten Beschwerden und den Befunden feststellten.
4.5. Zusammenfassend verletzte die Vorinstanz kein Bundesrecht, als sie dem Gutachten der ZIMB vom 1. Dezember 2015 vollen Beweiswert zusprach und gestützt darauf eine rentenrelevante Einschränkung der Arbeitsfähigkeit in einer leidensangepassten Tätigkeit verneinte. Die Beschwerde ist daher abzuweisen.
5.
Die offensichtlich unbegründete Beschwerde wird im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG - mit summarischer Begründung unter Verweis auf den kantonalen Entscheid (Art. 102 Abs. 1 und Art. 109 Abs. 3 BGG) - erledigt.
6.
Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren (im Sinn der unentgeltlichen Prozessführung) kann wegen Aussichtslosigkeit des Rechtsbegehrens nicht stattgegeben werden (Art. 64 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Oktober 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Betschart