Sachverhalt:
A.
Der 1957 geborene A._ meldete sich am 25. September 2009 bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Nach einem längeren Verfahren stellte die IV-Stelle dem Versicherten mit Vorbescheid vom 26. März 2015 die Zusprache einer befristeten Rente in Aussicht. Am 28. April 2015 erhob der Versicherte Einwand gegen diesen Vorbescheid und beantragte, ihm sei für das Verwaltungsverfahren die unentgeltliche Rechtspflege zu gewähren. Am 25. August 2015 hiess die IV-Stelle das Gesuch um unentgeltliche Rechtspflege "gestützt auf die derzeitigen Verhältnisse" gut.
Mit Verfügung vom 14. Juni 2017 sprach die IV-Stelle dem Versicherten eine auf die Zeit vom 1. November 2011 bis 31. Oktober 2012 befristete ganze Invalidenrente zu, woraus ein Nachzahlungsbetrag (inkl. Verzugszinsen) in der Höhe von Fr. 15'549.- resultierte. Anschliessend kam die IV-Stelle am 25. Juli 2017 auf ihre Verfügung vom 25. August 2015 zurück und wies das Gesuch des Versicherten um unentgeltliche Rechtspflege rückwirkend ab.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Dezember 2017 ab. Gleichentags wies dasselbe Gericht auch eine Beschwerde des Versicherten gegen die Verfügung vom 14. Juni 2017 ab.
C.
Mit Beschwerde beantragt A._, ihm sei unter Aufhebung der Verfügung vom 25. Juli 2017 und des kantonalen Gerichtsentscheides für das Verwaltungsverfahren die unentgeltliche Rechtspflege zu gewähren und sein Rechtsvertreter für dieses Verfahren mit insgesamt Fr. 6'935.85 zu entschädigen.
Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1.
Das Verfahren vor Bundesgericht wird gemäss <ref-law> in einer der Amtssprachen (Deutsch, Französisch, Italienisch, Rumantsch Grischun) geführt, in der Regel in der Sprache des angefochtenen Entscheids. Da der angefochtene Entscheid in deutscher Sprache ergangen ist, ist auch vorliegendes Urteil in dieser Sprache zu verfassen.
2.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
3.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, als es den rückwirkenden Entzug der mit Verfügung vom 25. August 2015 bewilligten unentgeltlichen Rechtsvertretung für das Verwaltungsverfahren bestätigt hat. Explizit nicht angefochten ist demgegenüber die Bestätigung der Rentenbefristung durch das kantonale Gericht mit getrenntem Entscheid von demselben Datum wie der hier angefochtene Entscheid.
4.
4.1. Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Der verfassungsmässige Anspruch auf unentgeltliche Rechtspflege garantiert der bedürftigen Person aber keine definitive Übernahme der Kosten des Prozesses durch den Staat (<ref-ruling> E. 4.1 S. 136 mit Hinweisen).
Für das Verwaltungsverfahren im Sozialversicherungsbereich enthält <ref-law> folgende Regelung: Wo die Verhältnisse es erfordern, wird der gesuchstellenden Person ein unentgeltlicher Rechtsbeistand bewilligt.
4.2. Darf der Staat wegen weggefallener Bedürftigkeit nach Abschluss eines Verfahrens - und somit rückwirkend - die im Rahmen der unentgeltlichen Verbeiständung ausbezahlten Beträge wieder zurückverlangen, muss die zuständige Behörde aus prozessökonomischen Gründen (allenfalls bereits während des laufenden Verfahrens) nicht nur die weitere Ausrichtung unterbinden (<ref-ruling> E. 4b S. 7), sondern die Unentgeltlichkeit auch rückwirkend entziehen können. Der prozessleitende Entscheid, der nur formell, jedoch nicht materiell rechtskräftig wird, kann wegen veränderter Verhältnisse jederzeit abgeändert oder aufgehoben werden. Denn eine Partei, die aus späterer Sicht den ganzen Prozess auf eigene Rechnung zu führen in der Lage ist, soll nicht deshalb teilweise davon entbunden sein, weil sie in einem früheren Zeitpunkt bedürftig war.
4.3. Für die rückwirkende Aufhebung der unentgeltlichen Verbeiständung, weil die früher bedürftige Partei später - etwa infolge einer Rentennachzahlung - selber für die Rechtsvertretung aufkommen kann, ist eine gesetzliche Grundlage wie jene für die nachträgliche Verpflichtung zur Rückerstattung resp. Nachzahlung der Vertretungskosten erforderlich. Wie das Bundesgericht unlängst entschieden hat, enthält das ATSG weder direkt noch indirekt durch Verweisung eine gesetzliche Grundlage für die Nachzahlung der Kosten der unentgeltlichen Rechtsvertretung für das Verwaltungsverfahren oder die rückwirkende Aufhebung der unentgeltlichen Rechtsvertretung (<ref-ruling> E. 3 S. 100 ff.). An dieser fehlenden gesetzlichen Grundlage vermag entgegen den Ausführungen der Beschwerdegegnerin auch der Umstand nichts zu ändern, dass die unentgeltliche Rechtspflege ausdrücklich gestützt auf die damaligen finanziellen Verhältnisse zugesprochen wurde.
4.4. Durfte die IV-Stelle somit mangels gesetzlicher Grundlage die bewilligte unentgeltliche Rechtspflege nicht rückwirkend entziehen, weil der Beschwerdeführer eine Rentennachzahlung erhielt, so ist die Beschwerde des Versicherten in dem Sinne gutzuheissen, als die Verfügung vom 25. Juli 2017 und den die unentgeltliche Rechtspflege für das Verwaltungsverfahren betreffende kantonale Gerichtsentscheid aufzuheben sind und die Sache zur Festsetzung des Honorars des Rechtsvertreters an die IV-Stelle zurückzuweisen ist.
5.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten der Beschwerdegegnerin aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies für das bundesgerichtliche Verfahren eine Parteientschädigung auszurichten (Art. 68 Abs. 1 und 2 BGG). Damit wird sein Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 19. Dezember 2017 und die Verfügung der IV-Stelle des Kantons Zürich vom 25. Juli 2017 werden aufgehoben. Die Sache wird an die IV-Stelle zurückgewiesen, damit diese die Höhe der Entschädigung des unentgeltlichen Rechtsvertreters des Beschwerdeführers für das Verwaltungsverfahren festsetzte. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2750.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. September 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Nabold