Sachverhalt:
A.
A.a. A._, gelernter Metallbauschlosser, arbeitete seit 1. Januar 2001 als Tankrevisor bei der B._ AG und war dadurch bei der Suva obligatorisch gegen die Folgen von Unfällen und Berufskrankheiten versichert. Am 27. März 2005 erlitt er einen Arbeitsunfall, am 12. Dezember 2005 sowie am 21. Mai 2006 einen Autounfall. Die Suva erbrachte jeweils die gesetzlichen Leistungen. Mit unangefochten in Rechtskraft erwachsener Verfügung vom 25. März 2008 stellte sie die Versicherungsleistungen betreffend die Verkehrsunfälle per sofort ein. Mit Verfügung vom 20. Juni 2008 sprach sie A._ aufgrund durch den Unfall vom 27. März 2005 verursachter Schulterbeschwerden ab 1. Juni 2008 eine Rente bei einer Erwerbsunfähigkeit von 21% sowie eine Integritätsentschädigung basierend auf einer Integritätseinbusse von 7,5% zu. Daran hielt sie mit Einspracheentscheid vom 11. Januar 2011 fest, was das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. August 2012 bestätigte.
A.b. Am 11. April 2006 hatte sich A._ bei der Invalidenversicherung unter Hinweis auf Schulterbeschwerden, eine HWS-Distorsion sowie eine Arbeitskrankheit zum Leistungsbezug angemeldet. Die IV-Stelle des Kantons Zürich traf Abklärungen in medizinischer und erwerblicher Hinsicht, zog die Akten der Suva bei und holte namentlich ein polydisziplinäres Gutachten der MEDAS Interlaken GmbH vom 17. Januar 2012 ein. Mit Vorbescheid vom 28. März 2012 stellte sie in Aussicht, dem Versicherten für die Zeit ab März bis August 2006 eine ganze und für die Zeit ab September 2006 bis Mai 2007 eine Dreiviertelsrente zuzusprechen. Dagegen erhob A._ Einwand und reichte einen Bericht des behandelnden Dr. med. C._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 21. September 2012 ein. Nach der Beantwortung von Zusatzfragen der IV-Stelle durch die MEDAS Interlaken vom 14. bzw. 27. November 2012 sowie der Einreichung weiterer Arztberichte, namentlich eines Verlaufsberichts des Dr. med. C._ vom 29. Juli 2013 durch den Versicherten, holte die IV-Stelle ein weiteres polydisziplinäres Gutachten der MEDAS Ostschweiz, St. Gallen, vom 26. Juni 2014 ein. Mit Verfügungen vom 16. Juni 2015 sprach sie A._ für die Zeit ab 1. März bis 31. Oktober 2006 eine ganze und für die Zeit ab 1. November 2006 bis 31. Juli 2007 eine Dreiviertelsrente zu.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 9. Juni 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, unter Aufhebung des vorinstanzlichen Entscheids sei ihm ab 1. November 2006 eine ganze Rente zuzusprechen, eventualiter sei die Sache an das kantonale Gericht zurückzuweisen, damit dieses nach Vornahme weiterer Abklärungen erneut über den Rentenanspruch entscheide. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle beantragt Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen hat sich nicht vernehmen lassen.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
Die Beschwerde führende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss Art. 105 Abs. 2 BGG gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (BGE 140 III 16 E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin verfügte Herabsetzung der bisherigen ganzen auf eine Dreiviertelsrente per 31. Oktober 2006 und deren Aufhebung per 31. Juli 2007 bestätigte.
Die hiefür massgebenden Rechtsgrundlagen sind im angefochtenen Entscheid zutreffend dargelegt worden. Die Vorinstanz hat richtig erkannt, dass sich der Sachverhalt teilweise vor dem Inkrafttreten der 5. IV-Revision am 1. Januar 2008 verwirklicht hat, weshalb bis 31. Dezember 2007 auf die damals geltenden Bestimmungen und ab 1. Januar 2008 auf die neuen Normen der 5. IV-Revision abzustellen ist (BGE 130 V 445). Dies ist jedoch - wie das kantonale Gericht dargelegt hat - ohne Belang, weil diese Revision keine substanziellen Änderungen bei der Invaliditätsbemessung gebracht hat (vgl. Urteil 8C_106/2013 vom 31. Mai 2013 E. 2). Weiter hat die Vorinstanz die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (Art. 4 Abs. 1 IVG in Verbindung mit Art. 8 Abs. 1 ATSG) und Erwerbsunfähigkeit (Art. 7 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG) und zu den bei einer rückwirkend zugesprochenen abgestuften oder befristeten Rente analog anwendbaren Bestimmungen der Rentenrevision (BGE 133 V 263 E. 6.1 S. 263; 131 V 164 E. 2.2 S. 165) zutreffend dargelegt. Richtig sind schliesslich die Ausführungen zum Beweiswert und zur Beweiswürdigung medizinischer Berichte und Gutachten (BGE 137 V 210 E. 6.2.2 S. 269; 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3 S. 352 mit Hinweisen). Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht hat in umfassender Würdigung der gesamten medizinischen Aktenlage, insbesondere gestützt auf das polydisziplinäre Gutachten der MEDAS Ostschweiz vom 26. Juni 2014, welches im Wesentlichen an dasjenige der MEDAS Interlaken vom 17. Januar 2012 anknüpfe, festgestellt, der Beschwerdeführer sei in der angestammten Tätigkeit vollumfänglich arbeitsunfähig. Körperlich leichte Tätigkeiten ohne stärkere kraftmässige Beanspruchungen des rechten dominanten Armes und ohne Arbeiten über Schulterhöhe, welche kein räumliches Sehen erfordern, seien dem Versicherten mit gewissen Einschränkungen indes seit August 2006 zu 50% mit einer Leistungsminderung von 10% und seit Mai 2007 zu 100% mit einer Leistungsminderung von 20% zumutbar. Die Vorinstanz ging bei diesen Feststellungen gestützt auf das Gutachten vom 26. Juni 2014 davon aus, dass die Arbeitsfähigkeit durch die Schulterbeschwerden und eine Störung des visuo-optischen Systems eingeschränkt werde, wohingegen die Nebendiagnosen wie dysfunktionale Krankheitsverarbeitung, redzidivierende depressive Störung, gegenwärtig remittiert, Tabak- und Alkoholabusus usw. keinen wesentlichen Einfluss auf die Arbeitsfähigkeit hätten.
3.2. Die durch das kantonale Gericht getroffenen Tatsachenfeststellungen, namentlich die aus den medizinischen Unterlagen gewonnenen Erkenntnisse, sind im letztinstanzlichen Prozess grundsätzlich verbindlich (vgl. E. 1.2 hievor). Im Rahmen der eingeschränkten Sachverhaltskontrolle (Art. 97 Abs. 1 BGG) ist es nicht Aufgabe des Bundesgerichts, die schon im vorangehenden Verfahren aufliegenden ärztlichen Berichte neu zu beurteilen und die rechtsfehlerfreie Sachverhaltsfeststellung der Vorinstanz hinsichtlich der medizinisch begründeten Verminderung des Leistungsvermögens und des Ausmasses der trotz gesundheitlicher Beeinträchtigungen verbleibenden Arbeitsfähigkeit zu korrigieren.
3.3. Die Vorbringen des Beschwerdeführers zeigen keine offensichtliche Unrichtigkeit der vorinstanzlichen Schlussfolgerungen auf:
3.3.1. Das kantonale Gericht hat die medizinische Aktenlage pflichtgemäss gewürdigt. Wie es dargelegt hat, erfüllen das polydisziplinäre Gutachten der MEDAS Ostschweiz vom 26. Juni 2014 und auch dasjenige der MEDAS Interlaken vom 17. Januar 2012 die von der Rechtsprechung gestellten Anforderungen; sie beruhen auf eigenen Untersuchungen, eingehender Anamneseerhebung und setzen sich insbesondere auch mit den anderen medizinischen Berichten auseinander.
3.3.2. Auf ein im Verfahren nach Art. 44 ATSG eingeholtes Gutachten ist rechtsprechungsgemäss abzustellen, wenn nicht konkrete Indizien gegen die Zuverlässigkeit der Expertise sprechen (BGE 135 V 465 E. 4.4 S. 470; vgl. auch Urteil 8C_5/2018 vom 2. März 2018 E. 5). Solche vermag der Versicherte nicht darzutun, zumal er weitgehend die bereits vorinstanzlich erhobenen Einwendungen wiederholt, mit denen sich das kantonale Gericht einlässlich auseinandergesetzt hat. Soweit der Beschwerdeführer wiederum das Fehlen einer neuropsychologischen Abklärung rügt, ist mit der Vorinstanz darauf hinzuweisen, dass es grundsätzlich den begutachtenden Ärztinnen und Ärzte überlassen ist, über Art und Umfang der aufgrund der konkreten Fragestellung erforderlichen Untersuchungen zu befinden (vgl. Urteile 8C_639/2011 vom 5. Januar 2012 E. 4.3.4, 8C_362/2010 vom 11. März 2011 E. 4.2.1). Vorliegend hat die IV-Stelle eine umfassende Abklärung in den Bereichen Allgemeine/Innere Medizin, Neurologie, Psychiatrie und Rheumatologie als notwendig erachtet, wobei der neurologische Teilgutachter eine aktuelle Anamnese sowie einen vollständigen neurologischen Status erhob und die geklagten neuropsychologischen Störungen mitberücksichtigte. Die Kritik des Beschwerdeführers gründet sodann fast ausschliesslich auf den Berichten des behandelnden Dr. med. C._. Diesbezüglich hat das kantonale Gericht zu Recht auf die Erfahrungstatsache hingewiesen, wonach behandelnde Ärzte im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zugunsten ihrer Patienten aussagen (BGE 135 V 465 E. 4.5 S. 470; 135 V351 E. 3a/cc S. 353; Urteil 8C_180/2017 vom 21. Juni 2017 E. 4.4.2 mit weiteren Hinweisen). Zudem hat es aufgezeigt, dass dessen Aussagen teilweise eher als jene eines Interessenvertreters und nicht als solche eines objektiven medizinischen Experten zu qualifizieren sind, so dass deren Beweiswert erheblich geschmälert ist (SVR 2016 UV Nr. 27 S. 89 E. 4.2 mit Hinweisen, 8C_448/2015).
3.4. Zusammenfassend beruhen die vorinstanzlichen Annahmen zum Gesundheitszustand und zur Arbeitsfähigkeit des Versicherten weder auf offensichtlich unrichtigen noch auf sonstwie rechtsfehlerhaften Tatsachenfeststellungen. Weil von zusätzlichen medizinischen Abklärungsmassnahmen keine neuen entscheidwesentlichen Aufschlüsse zu erwarten sind, konnte und kann auf weitergehende medizinische Erhebungen und Gutachten verzichtet werden (antizipierte Beweiswürdigung; BGE 136 I 229 E. 5.3 S. 236 f. mit Hinweis).
4.
Die vorinstanzliche Invaliditätsbemessung und namentlich der Zeitpunkt von Rentenreduktion bzw. Rentenaufhebung werden nicht substanziiert bestritten. Soweit der Beschwerdeführer die Verwertbarkeit der Restarbeitsfähigkeit auf dem freien Arbeitsmarkt anzweifelt, sind mit dem kantonalen Gericht im Hinblick auf die beruflich-erwerblichen Auswirkungen der ermittelten gesundheitlichen Einschränkungen keine Gründe erkennbar, welche es dem Versicherten verunmöglichten, seine verbliebene Arbeitskraft auf dem - hier relevanten - ausgeglichenen Arbeitsmarkt zu verwerten. Zu einer näheren Prüfung der Invaliditätsbemessung besteht kein Anlass. Damit hat es beim angefochtenen Entscheid sein Bewenden.
5.
Da die Beschwerde offensichtlich unbegründet ist, wird sie im vereinfachten Verfahren nach Art. 109 Abs. 2 lit. a BGG erledigt. Das Gesuch um unentgeltliche Rechtspflege im bundesgerichtlichen Verfahren ist wegen Aussichtslosigkeit abzuweisen (Art. 64 Abs. 1 BGG). Dem Beschwerdeführer sind demnach die Gerichtskosten aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. März 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Kopp Käch