Sachverhalt:
A.
Der 1965 geborene A._ meldete sich am 14. Mai 2010 bei der IV-Stelle des Kantons St. Gallen zum Leistungsbezug an. Nachdem der Versicherte eine seiner gesundheitlichen Situation angemessene Stelle gefunden hatte, stellte die IV-Stelle am 2. November 2011 fest, dass er rentenausschliessend eingegliedert sei.
Am 4. Dezember 2012 meldete sich A._ bei der nunmehr (aufgrund eines Wohnsitzwechsels) zuständigen IV-Stelle des Kantons Zürich zum Leistungsbezug an. Diese tätigte daraufhin medizinische Abklärungen, verneinte aber mit Verfügung vom 12. August 2016 einen Leistungsanspruch, da das psychische Leiden des Versicherten therapierbar und damit invalidenversicherungsrechtlich nicht relevant sei.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. September 2017 ab.
C.
Mit Beschwerde beantragt A._, ihm sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides für die Zeit vom 1. Juli 2013 bis 31. Mai 2016 eine ganze Rente der Invalidenversicherung zuzusprechen und die Sache sei zur Ermittlung des Invaliditätsgrades in der Zeit ab 1. Juni 2016 an die IV-Stelle zurückzuweisen. Gleichzeitig stellt A._ ein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
D.
Den Parteien wurde vom Bundesgericht die Möglichkeit eingeräumt, sich zu allfälligen Folgerungen, welche sich aus dem <ref-ruling> für die vorliegend streitige Sache ergeben, zu äussern. Die Parteien hielten daraufhin an ihren Anträgen fest.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die beschwerdeführende Partei, welche die Sachverhaltsfeststellungen der Vorinstanz anfechten will, muss substanziiert darlegen, inwiefern die Voraussetzungen einer Ausnahme gemäss <ref-law> gegeben sind und das Verfahren bei rechtskonformer Ermittlung des Sachverhalts anders ausgegangen wäre; andernfalls kann ein Sachverhalt, der vom im angefochtenen Entscheid festgestellten abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, als es für die Zeit ab 1. Juli 2013 einen Rentenanspruch des Versicherten verneint hat.
3.
3.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
3.2. Die Neuanmeldung wird - wie auch das Gesuch um Leistungsrevision - nur materiell geprüft, wenn die versicherte Person glaubhaft macht, dass sich die tatsächlichen Verhältnisse seit der letzten, rechtskräftigen Entscheidung in einem für den Rentenanspruch erheblichen Mass verändert haben (Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV; <ref-ruling> E. 2.2 S. 72 mit Hinweisen). Gelingt ihr dies nicht, so wird auf das Gesuch nicht eingetreten. Ist die anspruchserhebliche Änderung glaubhaft gemacht, ist die Verwaltung verpflichtet, auf das neue Leistungsbegehren einzutreten und es in tatsächlicher und rechtlicher Hinsicht umfassend zu prüfen (SVR 2014 IV Nr. 33 S. 121, 8C_746/2013 E. 2); sie hat demnach in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen (vgl. dazu <ref-ruling>). Stellt sie fest, dass der Invaliditätsgrad oder die Hilflosigkeit seit Erlass der früheren rechtskräftigen Verfügung keine Veränderung erfahren hat, so weist sie das neue Gesuch ab. Andernfalls hat sie zunächst noch zu prüfen, ob die festgestellte Veränderung genügt, um nunmehr eine anspruchsbegründende Invalidität oder Hilflosigkeit zu bejahen, und hernach zu beschliessen.
4.
4.1. Der Beschwerdeführer reichte bereits im Mai 2010 bei der damals zuständigen IV-Stelle ein Leistungsgesuch ein. Nachdem er eine neue Stelle gefunden hatte, hielt die Verwaltung fest, dass er damit rentenausschliessend eingegliedert sei. Am 2. Dezember 2012 meldete sich der Versicherte bei der Beschwerdegegnerin zum Leistungsbezug an, nachdem er diese neue Stelle wieder verloren hatte. Aufgrund dieser Ausgangslage ist das erneute Leistungsgesuch entgegen den vorinstanzlichen Erwägungen nicht als Neuanmeldung im Sinne von <ref-law> (vgl. E. 3.2 hievor), sondern gleich wie eine erstmalige Anmeldung zu behandeln (vgl. Urteil 9C_257/2009 vom 6. Juli 2009; vgl auch MEYER/REICHMUTH, Bundesgesetz über die Invalidenversicherung [IVG], 3. Aufl. 2014, Rz. 127 zu Art. 30-31 IVG).
4.2. Das kantonale Gericht hat im Wesentlichen erwogen, ärztlicherseits werde dem Versicherten aufgrund einer psychiatrischen Symptomatik eine Einschränkung in seiner Leistungsfähigkeit attestiert. Es könne aber weder von einer konsequenten Depressionstherapie noch davon gesprochen werden, dass das Leiden therapeutisch nicht angehbar sei, weshalb dem Leiden keine invalidisierende Wirkung zuzuerkennen sei. Allerdings ist die seitens der Vorinstanz zitierte Rechtsprechung betreffend die Voraussetzungen, unter denen leichten bis mittelschweren Depressionen invalidisierende Wirkung zukommen kann (<ref-ruling> E. 3.3 S. 197 mit Hinweis; Urteil 9C_841/2016 vom 8. Februar 2017 E. 3.1), mit <ref-ruling> und 418 geändert worden. Gemäss <ref-ruling> sind sämtliche psychischen Leiden, laut <ref-ruling> namentlich auch leichte bis mittelschwere Depressionen, einem strukturierten Beweisverfahren nach <ref-ruling> zu unterziehen. Diese neue Rechtsprechung ist auf alle im Zeitpunkt der Praxisänderung noch nicht erledigten Fälle anzuwenden (Urteil 8C_756/2017 vom 7. März 2018 E. 4 mit weiterem Hinweis) und ist somit auch im vorliegenden Fall massgebend. Da bis anhin noch kein solches Beweisverfahren stattgefunden hat und insbesondere auch eine umfassende vorinstanzliche Auseinandersetzung mit den massgebenden Standardindikatoren fehlt, ist die Beschwerde des Versicherten teilweise gutzuheissen. Der kantonale Entscheid ist aufzuheben und die Sache an die Vorinstanz zurückzuweisen, damit diese, allenfalls nach weiteren medizinischen Abklärungen, ein solches Beweisverfahren durchführe und hernach über die Beschwerde des Versicherten neu entscheide.
5.
Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>). Sie hat dem Beschwerdeführer eine Parteientschädigung auszurichten (Art. 66 Abs. 1 und 2 BGG). Damit wird sein Gesuch um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 28. September 2017 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Mai 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Nabold