Sachverhalt:
A.
A.a. G._, geboren 1969, war seit 1990 bei der A._ AG als LKW-Chauffeur angestellt. Gemäss Buchhaltungsunterlagen nahm er per 1. Januar 2003 eine selbständige (Teil-) Erwerbstätigkeit in der Firma B._ auf und reduzierte sein Arbeitspensum bei der A._ AG auf 70 %. Am 22. Juli 2003 und 25. November 2003 erlitt er je einen Verkehrsunfall. Die Schweizerische Unfallversicherungsanstalt (SUVA) erbrachte die gesetzlichen Leistungen. Unter Hinweis auf unfallbedingte Beschwerden im Nacken-, Kopf- und Schulterbereich sowie ein Schleudertrauma meldete sich G._ am 2. September 2004 bei der Invalidenversicherung zum Leistungsbezug an (Berufsberatung, Umschulung auf eine neue Tätigkeit, Rente). Die IV-Stelle des Kantons Zürich zog die Akten der SUVA bei und führte erwerbliche und medizinische Abklärungen durch. Namentlich veranlasste sie ein Gutachten im medizinischen Abklärungszentrum Y._, Medizinische Abklärungsstelle (nachfolgend: Medas), vom 4. Mai 2006. Am 15. August und 18. September 2007 verfügte die IV-Stelle die Zusprechung einer Viertelsrente ab 1. Juli 2004. Eine hiegegen erhobene Beschwerde zog G._ nach Androhung einer reformatio in peius zurück.
A.b. Nachdem G._ am 10. Juli 2009 von einer Leiter gestürzt war und sich eine komplexe Verletzung an der linken Hand zugezogen hatte, die eine operative Versorgung erforderte, teilte er der IV-Stelle am 24. Juli 2009 mündlich mit, er werde ab 1. August 2009 eine selbständige Tätigkeit im Gastgewerbe aufnehmen. Am 3. November 2009 liess er sich als Gesellschafter und Geschäftsführer mit Einzelunterschrift der C._ GmbH ins Handelsregister des Kantons Zürich eintragen. Bereits per 1. November 2009 hatte er sich von der C._ GmbH als Pizzakurier (im Umfang von 50 %) anstellen lassen. Die IV-Stelle führte wiederum medizinische sowie erwerbliche Abklärungen durch und sprach ihm mit drei Verfügungen vom 20. März und 17. April 2012 eine ganze Rente vom 1. Juli 2009 bis 31. März 2010, vom 1. April 2010 bis 31. März 2012 sowie ab 1. April 2012 zu.
B.
Die hiegegen von der Pensionskasse X._ erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich, nachdem es G._ zum Verfahren beigeladen hatte, mit Entscheid vom 27. September 2013 gut und änderte die angefochtenen Verfügungen dahingehend ab, als es den Anspruch des G._ vom 1. Juli bis 31. Oktober 2009 auf eine ganze Rente bestätigte, ab 1. November 2009 eine Viertelsrente zusprach und ab dem ersten Tag des zweiten auf die Zustellung des Entscheides folgenden Monats einen Rentenanspruch verneinte.
C.
G._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des angefochtenen Entscheides und weiterhin die Zusprechung einer ganzen Rente beantragen. In formeller Hinsicht beantragt er die Gewährung der unentgeltlichen Prozessführung und Verbeiständung.
Die IV-Stelle verzichtet auf Vernehmlassung, die Pensionskasse X._ schliesst auf Abweisung der Beschwerde.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Die Vorinstanz erwog, seit der Rentenzusprache 2007 habe der Erwerbsstatus des Versicherten mehrfach gewechselt, womit ein Revisionsgrund im Sinne von <ref-law> klar ausgewiesen und eine allseitige Prüfung der Anspruchsvoraussetzungen vorzunehmen sei. Die Zusprechung einer Viertelsrente im Jahr 2007 erscheine rückblickend sowohl mit Bezug auf die Annahme, er wäre zu 60 % selbständig und zu 40 % unselbständig erwerbstätig gewesen, als auch mit Blick auf die mangelhaften medizinischen Unterlagen als ausgesprochen fragwürdig. Ob die Rentenzusprechung im wiedererwägungsrechtlichen Sinn offensichtlich unrichtig gewesen sei, könne aber offen gelassen werden. In erwerblicher Hinsicht wäre der Versicherte entweder selbständig erwerbend gewesen mit einem Einkommen von Fr. 46'700.- (entsprechend dem 2006 erzielten Einkommen) oder er würde - nach dem Scheitern der Anläufe, ein Restaurant zu betreiben - wieder als angestellter LKW-Fahrer arbeiten zu einem Lohn von Fr. 49'419.- (gemäss LSE 2010, Tabelle TA1 Ziff. 53, Niveau 4 [da es im Niveau 3 an Daten fehle]). Zugunsten des Versicherten sei vom höheren Einkommen als Chauffeur auszugehen. Die medizinischen Akten liessen "an sich" nicht auf eine Einschränkung der Arbeitsfähigkeit in einer adaptierten Tätigkeit schliessen, zumindest sei eine Arbeitsfähigkeit von 55 % und damit ein Invalideneinkommen von Fr. 33'640.- (ausgehend vom Totalwert im Anforderungsniveau 4 gemäss LSE 2010) anzunehmen. Es bestehe somit unter keinem Titel ein weiterer Rentenanspruch. Für den Zeitraum der unfallbedingten Arbeitsunfähigkeit vom 10. Juli bis Ende Oktober 2009 sei die zugesprochene ganze Rente zu bestätigen. Ab November 2009 sei ein Rentenanspruch nicht mehr ausgewiesen, indes habe die Aufhebung der bisherigen Viertelsrente erst auf den ersten Tag des zweiten auf die Zustellung des Entscheides folgenden Monates zu erfolgen.
2.2. Der Beschwerdeführer rügt, Thema der Rentenrevision sei einzig seine Qualifikation als Selbständiger oder Unselbständigerwerbender gewesen. Das kantonale Gericht habe zu Unrecht auch die ursprünglich festgestellte Arbeits- und Erwerbsfähigkeit überprüft, obwohl eine entsprechende Prüfung entweder eine erhebliche gesundheitliche Veränderung oder die offensichtliche Unrichtigkeit der ursprünglichen Bemessung der Erwerbsunfähigkeit vorausgesetzt hätte, was beides nicht zutreffe. Das der Verfügung vom 15. August 2007 zugrunde liegende Valideneinkommen von Fr. 70'995.80 sei rechtskräftig geworden, die Voraussetzungen für eine diesbezügliche Abänderung (erhebliche Änderung der Validensituation oder offensichtlich unrichtige ursprüngliche Festsetzung) seien nicht erfüllt. Die vorinstanzliche Sachverhaltsfeststellung sei überdies mit Bezug auf die Höhe des Valideneinkommens willkürlich, soweit sie sich auf Zahlen der Schweizerischen Lohnstrukturerhebung (LSE) stütze, obwohl das konkrete Valideneinkommen als Lastwagenchauffeur bei der A._ AG bestens bekannt sei.
3.
Eine Rentenrevision kann durchgeführt werden, wenn sich die tatsächlichen Verhältnisse anspruchserheblich ändern. Diese Voraussetzung ist erfüllt, wenn die versicherte Person eine selbständige Erwerbstätigkeit aufnimmt (z.B. Urteil 8C_211/2013 vom 3. Oktober 2013 E. 4.1). Weil sich damit ein Aspekt aus dem gesamten für die Anspruchsberechtigung erheblichen Tatsachenspektrum wesentlich verändert hat, kann das Valideneinkommen frei überprüft werden, und zwar unabhängig davon, ob sich die revisionserhebliche Änderung auf ein anderes Element der Anspruchsberechtigung bezieht (<ref-ruling> E. 3.4 S. 259).
Der Versicherte meldete der IV-Stelle am 24. Juli 2009 die Aufnahme einer selbständigen Erwerbstätigkeit. Zu Recht sah die Vorinstanz in der beruflichen Neuorientierung (unabhängig davon, ob tatsächlich eine selbständige Erwerbstätigkeit aufgenommen wurde; vgl. Urteil I 22/90 vom 18. Februar 1991 E. 2b) einen Revisionsgrund, der zu einer allseitigen Prüfung der Anspruchsvoraussetzungen berechtigte. Die dagegen erhobenen Rügen des Beschwerdeführers sind unbegründet.
4.
Die Behauptungen des Beschwerdeführers, erst die im Jahr 2003 erlittenen Unfälle hätten zur Aufgabe seiner Tätigkeit bei der A._ AG und zum Wechsel in eine selbständige Gastronomietätigkeit geführt, sind unglaubwürdig. Aus den Akten geht zweifelsfrei hervor, dass er bereits im Oktober 2002 mit dem Umbau des späteren Kebab-Lokals begonnen und seine Gaststätte Ende 2002 in Betrieb genommen hatte. Ob und allenfalls in welchem Umfang der Beschwerdeführer ohne Gesundheitsschaden die (selbständige) Tätigkeit in der Gastronomie beibehalten und ausgebaut hätte, bleibt unklar. Zu Recht rügt er allerdings die vorinstanzliche Feststellung des Valideneinkommens, welche vor Bundesrecht nicht standzuhalten vermag. Aus nachfolgend dargelegten Gründen kann weder (ausschliesslich) auf den Eintrag im Individuellen Konto (IK) des Versicherten betreffend das Jahr 2006 abgestellt werden, noch ist der tiefste Tabellenlohn (Anforderungsniveau 4) für Post-, Kurier- und Expressdienste einschlägig.
4.1. Im Zeitpunkt des ersten Autounfalles im Sommer 2003 befand sich der Gastronomiebetrieb des Versicherten erst im Aufbau. Bereits aus diesem Grund ist das damit erzielte Einkommen (noch) keine verlässliche Basis für die Festlegung des Valideneinkommens. Bei erst kurzzeitig ausgeübter selbständiger Erwerbstätigkeit lässt sich die Einkommensentwicklung regelmässig nicht zuverlässig voraussagen (vgl. Urteil 8C_567/2013 vom 30. Dezember 2013 E. 4.1). Hinzu kommt, dass die bis Ende 2002 erzielten, zu Unrecht in die Buchhaltung des Jahres 2003 eingeflossenen Umsätze das Bild verfälschen und sich den Akten keinerlei Hinweise auf die Arbeitsteilung zwischen dem Beschwerdeführer und seinem damaligen Geschäftspartner entnehmen lassen, weshalb eine hälftige Teilung des Betriebsgewinns jedenfalls nicht ohne Weiteres auf der Hand liegt. Die vorinstanzlich als "erste Möglichkeit" angeführte, einzig auf dem IK-Eintrag für das Jahr 2006 basierende Berechnung des Valideneinkommens ist daher nicht haltbar.
4.2.
4.2.1. Im angefochtenen Entscheid wird alternativ auf das Einkommen verwiesen, welches der Beschwerdeführer zuletzt als unselbständiger Lastwagenchauffeur erzielt hatte. Zwar erfolgte die berufliche Diversifizierung (Aufnahme der selbständigen Tätigkeit im Gastrobereich bei gleichzeitiger Reduktion des Arbeitspensums als angestellter Chauffeur) bereits vor Eintritt des Gesundheitsschadens. Weshalb das mit dem eigenen Restaurationsbetrieb in den Jahren 2005 und 2006 erzielte Einkommen relativ bescheiden und jedenfalls weit unter dem vorher als vollzeitlich angestellter LKW-Fahrer erzielten Lohn blieb, lässt sich nicht mehr feststellen. Indes fehlen jegliche Anhaltspunkte, der Beschwerdeführer hätte mit dem Wechsel in die selbständige Gastronomietätigkeit ein wesentlich tieferes Einkommen als im bisherigen Angestelltenverhältnis in Kauf nehmen wollen. Vor diesem Hintergrund und unter Berücksichtigung, dass das Valideneinkommen die Einkommenssituation im Gesundheitsfall möglichst konkret abbilden soll (statt vieler: Urteil 9C_796/2013 vom 28. Januar 2014 E. 2.1), hat die Vorinstanz in nicht zu beanstandender Weise erwogen, der Versicherte wäre mit überwiegender Wahrscheinlichkeit in seine langjährig ausgeübte Tätigkeit im Transportgewerbe zurückgekehrt
4.2.2. Entgegen den vorinstanzlichen Erwägungen kann zur Bestimmung des Valideneinkommens aber nicht auf den Tabellenlohn (gemäss LSE 2010, Wirtschaftsabteilung Verkehr und Lagerei, Post-, Kurier- und Expressdienste [Tabelle TA1 S. 27 Ziff. 53]) im Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) abgestellt werden. Erfahrungs- und Durchschnittswerte sind stets unter Mitberücksichtigung der für die Entlöhnung im Einzelfall relevanten persönlichen und beruflichen Faktoren heranzuziehen (z.B. Urteil 8C_478/2011 vom 10. August 2011 E. 2.3 mit Hinweisen). Für den seit vielen Jahren im Dienste der A._ AG als Lastwagenfahrer tätig gewesenen Beschwerdeführer, welcher vor der - aus gesundheitsfremden Gründen erfolgten - Reduktion seines Arbeitspensums im Jahr 2002 ein Einkommen von Fr. 69'312.- erwirtschaftete, ist das tiefste Anforderungs- und Lohnniveau 4 klar nicht einschlägig. Es trifft zu, dass im Niveau 3 (Berufs- und Fachkenntnisse vorausgesetzt) die statistischen Zahlenwerte in der Wirtschaftsabteilung "Post-, Kurier- und Expressdienste" mit einem Variationskoeffizient von mehr als 5 % behaftet und damit als unsicher gekennzeichnet sind. Dies rechtfertigt aber nach dem Gesagten nicht das Abstellen auf das nächst tiefere, schlechter entlöhnte Anforderungsniveau. Für die Abteilung "Verkehr- und Lagerei" (Ziffern 49-53) sind insgesamt ausreichende Daten vorhanden. Diese entsprechen weitgehend dem vom Versicherten bei der A._ AG aktenkundig zuletzt erzielten Einkommen. Ausgehend vom Tabellenlohn (Fr. 5'523.- monatlich) resultiert bei einer betriebsüblichen Wochenarbeitszeit von 42,5 Stunden im Bereich "Verkehr und Lagerei" (Die Volkswirtschaft 7/8-2013, Tabelle B9.2 S. 94) ein Jahreseinkommen von Fr. 70'418.25. Die Aufrechnung der Angaben im Arbeitgeberbericht vom 1. Oktober 2004 (Jahreseinkommen: Fr. 49'205.- bezogen auf ein 70 %-Pensum) an die Verhältnisse im Jahre 2010 (Die Volkswirtschaft 6-2012 Tabelle B10.2, Abschnitt I, S. 95) ergibt einen Jahreslohn von Fr. 70'615.35.
5.
5.1. Ob die medizinischen Grundlagen zur Beurteilung der Arbeitsfähigkeit bei Verfügungserlass im Herbst 2007 ausreichend waren, ist in diesem Verfahren nicht mehr von Bedeutung. Insbesondere spielt keine Rolle, ob die im Medas-Gutachten des medizinischen Abklärungszentrums Y._ vom 4. Mai 2006 festgehaltenen Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit (Status nach mehrfachen Verkehrsunfällen sowie eine rezidivierende depressive Störung [Anpassungsstörung] mit Verdacht auf erhebliche psychogene Schmerzfehlverarbeitung und eine erhebliche regressive Entwicklung) aus heutiger Sicht einen Rentenanspruch zu begründen vermöchten (vgl. Urteil 8C_567/2011 vom 3. Januar 2012 E. 4.2). Von Bedeutung ist aber der Verlauf seit dem Unfall vom 10. Juli 2009. Diesbezüglich hat die Vorinstanz zu Recht darauf hingewiesen, es sei nicht nachvollziehbar, weshalb nach Abheilung der Handverletzung und dem Erreichen des "Status quo ante" statt der vormaligen Viertelsrente nunmehr Anspruch auf eine (unbefristete) ganze Rente bestehen soll. Dies gilt umso mehr, als keine andere somatische Veränderung als die mit der Handverletzung einhergehende aktenkundig ist und in psychischer Hinsicht der behandelnde Psychiater zwar - wie bereits im Jahr 2004 - am 16. Oktober 2010 eine posttraumatische Belastungsstörung diagnostiziert und eine Arbeitsunfähigkeit von 60 % attestiert hatte, diese Diagnose wie auch die vom behandelnden Spezialisten bereits früher bescheinigte hohe Arbeitsunfähigkeit aber weder anlässlich der Begutachtung im Jahr 2006 noch in der Folge vom RAD (Stellungnahme vom 22. Oktober 2010) bestätigt werden konnte.
5.2. Das kantonale Gericht konnte aufgrund des (unhaltbar) tief angesetzten Valideneinkommens - unter Hinweis darauf, die medizinischen Akten enthielten "an sich" nichts, was gegen eine vollständige Arbeitsfähigkeit in einer angepassten Tätigkeit spreche - die Höhe der verbliebenen Restarbeitsfähigkeit offen lassen, weil bei einem gegenüber dem Valideneinkommen (Fr. 49'419.-) deutlich höheren Invalidenlohn (Fr. 61'164.-) ohnehin kein rentenbegründender Invaliditätsgrad resultierte. Bei einem Valideneinkommen von rund Fr. 70'000.- (E. 4.2.2 hievor) kann die Anspruchsberechtigung ab Juli 2009 aber nicht beurteilt werden, ohne dass die (Rest-) Arbeitsfähigkeit feststeht. Eine entsprechende Beurteilung ist aber aufgrund der vorliegenden Akten nicht möglich. Nicht nur fehlt es in den Berichten der behandelnden Ärzte am Spital Z._ an hinreichend präzisen Angaben zu Verlauf und Höhe der Arbeitsfähigkeit im Anschluss an die operativen Eingriffe an der unfallversehrten Hand, sondern es fehlt auch sonst an verlässlichen aktuellen Beurteilungen. Die Sache ist daher an die IV-Stelle zurückzuweisen, damit sie weitere Abklärungen in die Wege leitet. Im anschliessenden neuerlichen Einkommensvergleich wird sie bei der Festlegung des Invalideneinkommens zu beachten haben, dass der Beschwerdeführer nach den Unfällen im Jahr 2003 zumindest in den Jahren 2004 und 2005 Einkommen erzielte, die höher waren als das dem Tabellenlohn im Anforderungsniveau 4 entsprechende (so ist im Individuellen Konto für das Jahr 2004 ein Einkommen aus selbständiger Erwerbstätigkeit von Fr. 133'700.- ausgewiesen, 2005 ein Einkommen als Angestellter der A._ AG von Fr. 25'319.- sowie als Selbständigerwerbender von Fr. 41'500.-, total somit Fr. 66'819.-).
6.
Praxisgemäss entspricht die Rückweisung einem vollen Obsiegen (<ref-ruling> E. 6.1 S. 235). Die unterliegenden Beschwerdegegnerinnen haben die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung auszurichten (<ref-law>). Damit ist das Gesuch um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 27. September 2013 wird aufgehoben. Die Sache wird zu neuer Entscheidung an die IV-Stelle zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden den Beschwerdegegnerinnen auferlegt.
3.
Die Beschwerdegegnerinnen haben den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. März 2014
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Bollinger Hammerle