Sachverhalt:
A.
Der 1964 geborene A._ arbeitete seit 1. Februar 2001 als Bauarbeiter/Hilfsmaurer. Nachdem er sich im November 2012 bei der Invalidenversicherung zum Leistungsbezug angemeldet hatte, teilte ihm die IV-Stelle des Kantons Zürich am 29. November 2012 mit, dass aufgrund seines Gesundheitszustandes zurzeit keine beruflichen Eingliederungsmassnahmen möglich seien. Zudem verneinte sie mit Verfügung vom 4. Juli 2013 bei einem ermittelten Invaliditätsgrad von 24 % einen Anspruch auf eine Invalidenrente.
Auf eine Neuanmeldung vom 27. April 2015 trat die IV-Stelle ein und traf Sachverhaltsabklärungen. Sie stellte mit Vorbescheid vom 12. April 2016 die Abweisung des Leistungsbegehrens in Aussicht, wogegen der Versicherte am 13. Mai 2016 Einwand erheben und diesen am 26. August 2016 ergänzend begründen liess. Mit Verfügung vom 27. März 2017 verneinte die IV-Stelle einen Anspruch auf berufliche Massnahmen und auf eine Invalidenrente. Dagegen liess A._ am 27. April 2017 Beschwerde erheben. Mit Eingabe vom 5. Mai 2017 teilte der Rechtsvertreter des Versicherten der IV-Stelle mit, dass er im Einwand vom 26. August 2016 in Aussicht gestellt habe, in Ergänzung zum Antrag auf einen unentgeltlichen Rechtsbeistand die Bestätigung der Unterstützung durch das Sozialamt nachzureichen, was jetzt nachgeholt werde. Er ersuchte darum, über den Antrag zu entscheiden und das Honorar zu überweisen. Die IV-Stelle wies das Gesuch um Bewilligung eines unentgeltlichen Rechtsbeistandes mit Verfügung vom 9. August 2017 ab.
B.
A._ liess hiegegen am 8. September 2017 Beschwerde erheben und gleichzeitig um Gewährung der unentgeltlichen Verbeiständung für das Beschwerdeverfahren ersuchen. Mit Entscheid vom 27. März 2018 wies das Sozialversicherungsgericht des Kantons Zürich die Beschwerde und, weil es diese als aussichtslos beurteilte, das Gesuch um unentgeltliche Verbeiständung ab (IV.2017.00921). Mit gleichentags ergangenem und in Rechtskraft erwachsenen Entscheid wies das kantonale Gericht auch die Beschwerde in der Hauptsache vom 27. April 2017 ab (IV.2017.00456).
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids (IV.2017.00921) die unentgeltliche Verbeiständung für das am 13. Mai/26. August 2016 eingeleitete Einwandverfahren sowie für das Verfahren vor dem Sozialversicherungsgericht zu bewilligen. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>), was in der Beschwerde näher darzulegen ist. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können. Das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.2 S. 22 f. mit Hinweisen). Kausal durch den vorinstanzlichen Entscheid verursacht oder rechtswesentlich und damit zulässig sind Sachumstände, die im kantonalen Entscheid neu und erstmals Rechtserheblichkeit gewinnen, indem sich die kantonale Instanz auf einen Rechtstitel beruft, der von den Parteien bis dahin nicht thematisiert wurde, und ihn ihrem Urteil als massgebliches Entscheidmotiv zugrunde legt (vgl. Urteile 8C_145/2018 vom 8. August 2018 E. 2.1 mit Hinweisen; 8C_184/2009 vom 25. August 2009 E. 4.3.1 mit Hinweis, in: ARV 2010 S. 141; 9C_920/2008 vom 16. April 2009 E. 2, nicht publ. in: <ref-ruling> aber in: SVR 2009 BVG Nr. 30 S. 109; zum Ganzen s. auch: JOHANNA DORMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 3. Aufl. 2018, N. 44 ff. zu <ref-law>).
2.2. Der Beschwerdeführer lässt neu eine nicht unterzeichnete Eingabe seines Rechtsvertreters an die IV-Stelle vom 26. August 2016 einreichen, welche mit diesem Inhalt nicht bei den vorinstanzlichen Akten liegt. Wohl findet sich bei den im kantonalen Verfahren aufgelegten Akten der IV-Stelle ebenfalls eine Eingabe vom 26. August 2016, doch ist diese im Gegensatz zur neu eingereichten Urkunde unterzeichnet und enthält weder den im Titel gestellten Antrag auf unentgeltlichen Rechtsbeistand noch den Absatz mit der entsprechenden Begründung, ansonsten aber genau dasselbe. Es handelt sich bei der neu aufgelegten Urkunde mithin um ein unechtes Novum. Da die Frage des rechtzeitig gestellten Gesuchs um Bewilligung eines unentgeltlichen Rechtsbeistands im Verwaltungsverfahren bereits vor Vorinstanz ein zentrales Thema war, hat nicht erst der angefochtene Entscheid zum Vorbringen des neuen Beweismittels Anlass gegeben. Der Beschwerdeführer legt zudem in keiner Weise dar und es ist auch nicht ersichtlich, weshalb diese Urkunde nicht bereits im kantonalen Verfahren hätte beigebracht werden können. Sie hat somit als unechtes Novum unbeachtet zu bleiben.
2.3. Da die neu eingereichte Eingabe vom 26. August 2016 im vorliegenden Verfahren keine Beachtung findet, ist nicht weiter auf den sehr befremdlichen Umstand einzugehen, dass diese nicht unterzeichnete Eingabe genau in den streitigen Punkten nicht mit der gleich datierten, unterzeichneten Eingabe übereinstimmt, die sich bei den Akten der IV-Stelle befindet, sondern Ergänzungen aufweist, aus welchen der Rechtsvertreter des Beschwerdeführers Rechte ableiten will.
3.
3.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die von der IV-Stelle am 9. August 2017 verfügte Abweisung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren bestätigte.
3.2. Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze zur unentgeltlichen Verbeiständung im Verwaltungsverfahren (<ref-law>; vgl. <ref-law>; <ref-ruling> E. 4.1 S. 200 f.) zutreffend dargelegt worden. Korrekt aufgezeigt hat das kantonale Gericht insbesondere, dass der Anspruch auf unentgeltliche Rechtspflege rechtsprechungsgemäss in der Regel nur auf die Zukunft gerichtet ist (<ref-ruling> E. 2f S. 208; Urteil 8C_299/2018 vom 29. November 2018 E. 7.3 mit Hinweis). Darauf kann verwiesen werden. Ein weitergehender, explizit auch vor Gesuchseinreichung entstandene Kosten erfassender Anspruch ergibt sich auch nicht aus dem kantonalen Recht (vgl. dazu § 16 des Gesetzes des Kantons Zürich vom 7. März 1993 über das Sozialversicherungsgericht [LS 212.81; GSVGer] und § 16 des Verwaltungsrechtspflegegesetzes des Kantons Zürich vom 24. Mai 1959 [LS 175.2; VRG]).
4.
4.1. Das kantonale Gericht hat festgestellt, dass im Einwand vom 26. August 2016 entgegen der Behauptung des Beschwerdeführers kein Gesuch um Bewilligung der unentgeltlichen Verbeiständung für das Verwaltungsverfahren enthalten gewesen sei, ebensowenig in drei weiteren Eingaben im Laufe des Verfahrens. Aktenkundig sei erst am 5. Mai 2017, mithin nach Erlass der leistungsverneinenden Verfügung vom 27. März 2017, ein entsprechendes Gesuch gestellt worden. Mangels zeitlicher Dringlichkeit einer sachlich zwingend gebotenen Prozesshandlung, aufgrund derer es dem Beschwerdeführer nicht mehr möglich gewesen wäre, das Gesuch um Bewilligung eines unentgeltlichen Rechtsbeistandes bereits im Laufe des Verwaltungsverfahrens zu stellen, könne er die vor Einreichung des Gesuchs am 5. Mai 2017 entstandenen Vertretungskosten nicht unter diesem Rechtstitel geltend machen. Das erst nach Erlass der leistungsverneinenden Verfügung vom 27. März 2017 gestellte Gesuch erweise sich damit als verspätet. Die Frage, ob die (weiteren) Voraussetzungen für die Gewährung der unentgeltlichen Verbeiständung im Verwaltungsverfahren hinreichend substanziiert worden und erfüllt gewesen seien, könne daher offen bleiben.
4.2. Der Beschwerdeführer erhebt keine Rügen, die den angefochtenen Entscheid als rechtsfehlerhaft nach <ref-law> (<ref-law>) oder die vorinstanzliche Sachverhaltsfeststellung als unrichtig oder unvollständig (<ref-law>) erscheinen liessen. Wie das kantonale Gericht zutreffend festgestellt hat, wurde gemäss massgebender Aktenlage erst mit Eingabe vom 5. Mai 2017 und somit nach Erlass der leistungsverneinenden Verfügung vom 27. März 2017 ein Gesuch um unentgeltliche Verbeiständung im Verwaltungsverfahren gestellt. Da - wie die Vorinstanz im Weiteren korrekt erwogen hat - Gründe für eine ausnahmsweise Rückwirkung des Anspruchs auf unentgeltliche Rechtspflege zu verneinen sind, wurde dieses Gesuch zu Recht als verspätet qualifiziert, weshalb die weiteren Anspruchsvoraussetzungen offen bleiben konnten.
5.
Die Vorinstanz hat, unter Bezugnahme auf ihre oben wiedergegebenen Erwägungen, dargelegt, weshalb sie zum Schluss gelangt ist, dass die bei ihr eingereichte Beschwerde als aussichtslos zu betrachten und die unentgeltliche Verbeiständung für das kantonale Verfahren zu verweigern sei. Diese Beurteilung entspricht Gesetz und Rechtsprechung (<ref-law>; <ref-ruling> E. 9 S. 536 f.). Die diesbezüglich kurz gefasste Kritik des Beschwerdeführers vermag auch in diesem Punkt keine Bundesrechtsverletzung darzutun.
6.
Die offensichtlich unbegründete Beschwerde wird im vereinfachten Verfahren nach <ref-law> - mit summarischer Begründung unter Verweis auf den kantonalen Entscheid (Art. 102 Abs. 1 und Art. 109 Abs. 3 BGG) - erledigt.
7.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ist wegen Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Februar 2019
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Kopp Käch