Sachverhalt:
A.
Der 1967 geborene A._ war zuletzt als angelernter Maurer tätig. Am 11. Oktober 1999 meldete er sich unter Angabe von Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 15. Juni 2001 gewährte ihm die IV-Stelle des Kantons Zürich eine halbe Invalidenrente (Invaliditätsgrad 61 %). Diese Rente wurde per 1. Januar 2004 (Inkrafttreten der 4. IV-Revision) auf eine Dreiviertelsrente erhöht (Verfügung vom 14. April 2004) und in anschliessenden Revisionsverfahren mit Mitteilungen vom 13. Juli 2006 und 17. Dezember 2009 bestätigt. Bei einer weiteren Revision im Jahr 2013 liess die IV-Stelle den Versicherten bei Frau Dr. med. B._, Fachärztin für Allgemeine Innere Medizin und Rheumatologie FMH, begutachten (samt einer Evaluation der funktionellen Leistungsfähigkeit [EFL]; Expertise vom 7. Juni 2014) und hob danach die Rente auf Ende Januar 2016 wiedererwägungsweise auf (Verfügung vom 28. Dezember 2015).
B.
Die dagegen geführte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. April 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei die Sache zur Neubeurteilung an das kantonale Gericht zurückzuweisen. Ferner wird um unentgeltliche Rechtspflege ersucht.
Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin verfügte Aufhebung der Dreiviertelsrente schützte.
2.2. Die Vorinstanz legte die massgebenden Bestimmungen und Grundsätze zutreffend dar. Dies betrifft die Ausführungen zu den Voraussetzungen des Rentenanspruchs (<ref-law>), zur Bestimmung des Invaliditätsgrads (Art. 8 Abs. 1 i.V.m. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 3.2 S. 195 f.; <ref-ruling> E. 4 S. 99), zu Beweiswürdigung und Beweiswert von ärztlichen Gutachten und Berichten (<ref-ruling> E. 3a S. 352) sowie zu den Voraussetzungen der Wiedererwägung (<ref-law>). Darauf wird verwiesen. Zu ergänzen ist, dass ein wiedererwägungsweises Rückkommen auf eine zweifellos unrichtige Verfügung gemäss <ref-law> auch mehr als zehn Jahre nach deren Erlass zulässig ist (<ref-ruling>).
3.
3.1. In Würdigung der gesamten medizinischen Aktenlage bejahte das kantonale Gericht einen Wiedererwägungsgrund (<ref-law>). Die Verfügung vom 15. Juni 2001, mit welcher dem Beschwerdeführer bei einem Invaliditätsgrad von 61 % eine halbe Rente der Invalidenversicherung zugesprochen worden sei, habe sich auf das Gutachten des Spitals C._ vom 24. März 2000 gestützt. Danach bestünden ein residuelles Reizsyndrom und ein leichtes motorisches Ausfallsyndrom L5 links, eine leichte Zervikobrachialgie links sowie asymptomatische Senk-/Spreizfüsse beidseits. Die Gutachter hätten ausgeführt, dass ein Arbeitsversuch noch zu früh sei, auch wenn für eine optimale, leichte wechselbelastende Tätigkeit im Umfang von 50 % ein Teilzeitarbeitsversuch möglich wäre; es seien zuerst die geplanten Abklärungs- und Behandlungsmassnahmen durchzuführen. Diese Einschätzung decke sich, so die Vorinstanz, mit dem Bericht der Klinik D._ vom 8. Mai 2000. Darin sei ausgeführt worden, aufgrund der geklagten Beschwerden lumbal und den bildgebend festgestellten Pathologien sei zwar die angestammte Tätigkeit als Hilfsmaurer nicht mehr zumutbar, ohne Ausführung schwerer körperlicher Arbeiten seien die Rückenbeschwerden aber gering, weshalb der Beschwerdeführer für eine leichte, dem Rücken angepasste Tätigkeit vollständig arbeitsfähig sei. Ebenso sei dem Bericht der Ablärungs- und Ausbildungsstätte E._ vom 15. Februar 2001 zu entnehmen, dass er für einfache manuelle Tätigkeiten in sitzender Stellung mit der Möglichkeit, gelegentlich einige Schritte zu gehen, zu mindestens 80 % leistungsfähig sei. Damit habe die IV-Stelle offensichtlich zu Unrecht in der Verfügung vom 15. Juni 2001 eine 50%ige Arbeitsunfähigkeit angenommen, da die Experten des Spitals C._ klarerweise von einem noch nicht vollständig abgeklärten Gesundheitszustand mit weiteren geplanten Therapien ausgegangen seien und keine abschliessende Einschätzung der Arbeitsfähigkeit vorgenommen worden sei. Vielmehr wäre einer Invaliditätsbemessung dannzumal bereits eine vollständige Arbeitsfähigkeit für leidensadaptierte Tätigkeiten zugrunde zu legen gewesen, weshalb die IV-Stelle die Verfügung vom 15. Juni 2001 zu Recht aufgrund ihrer zweifellosen Unrichtigkeit in Wiedererwägung gezogen habe. Aus der Gegenüberstellung von Validen- und Invalideneinkommen, welches die Abklärungs- und Ausbildungsstätte E._ im Bericht vom 15. Februar 2001 anhand von DAP-Zahlen ermittelt habe, ergebe sich bei einer vollständigen Arbeitsfähigkeit lediglich ein Invaliditätsgrad von 19 %. Selbst wenn mit der Beschwerdegegnerin ein Valideneinkommen von Fr. 54'530.- anstelle von Fr. 51'996.- und eine Leistungsfähigkeit von 80 % anzunehmen wäre, errechne sich ein rentenausschliessender Invaliditätsgrad von 38 %.
3.2. Weiter mass das kantonale Gericht dem Gutachten der Frau Dr. med. B._ vom 7. Juni 2014 vollen Beweiswert bei und erkannte gestützt darauf, dass der Beschwerdeführer auch weiterhin in einer rückenschonenden, leidensangepassten Tätigkeit zu 100 % arbeitsfähig sei; die Arbeitsfähigkeit sei in einer adaptierten Tätigkeit nie länger dauernd eingeschränkt gewesen. Es setzte sodann das Valideneinkommen zugunsten des Versicherten gestützt auf einen Tabellenlohn der Schweizerischen Lohnstrukturerhebung (LSE) 2012 (TA1, Bereich Baugewerbe Ziff. 41-43, Männer, Kompetenzniveau 1) und unter Berücksichtigung der zwischenzeitlichen Nominallohnentwicklung auf Fr. 68'612.- fest. Für das Invalideneinkommen zog es ebenfalls einen Tabellenlohn heran (TA1, Kompetenzniveau 1, Total Männer, monatlich Fr. 5'210.-). Bei der betriebsüblichen wöchentlichen Arbeitszeit von 41.7 Stunden im Jahr 2015 und der Nominallohnentwicklung bei Männern im Wirtschaftszweig "Total" bis ins Jahr 2015 ergab dies ein Invalideneinkommen von Fr. 66'309.-. Aus dem Einkommensvergleich resultierte ein Invaliditätsgrad von 3 %, weshalb es einen Rentenanspruch verneinte. Eingliederungsmassnahmen erachtete die Vorinstanz nicht als angezeigt, da der Versicherte die Voraussetzungen für Umschulungsmassnahmen nicht erfülle, ihm sei aber Arbeitsvermittlung durch das RAV im Rahmen einer 50%igen Arbeitsfähigkeit zugestanden worden, die jedoch erfolglos geblieben sei. Die ihm durchwegs attestierte 50%ige Restarbeitsfähigkeit habe er trotz Kenntnis des Anforderungs- und Belastungsprofils nie arbeitsmarktlich verwertet, weshalb davon auszugehen sei, dass die langjährige Abstinenz vom Arbeitsmarkt auf invaliditätsfremden Gründen basiere. Praxisgemäss bestehe damit vor der Rentenaufhebung kein Anspruch auf Abklärung bzw. Durchführung beruflicher Eingliederungsmassnahmen.
3.3. Der Beschwerdeführer wendet dagegen ein, bei einem von der Vorinstanz errechneten Invaliditätsgrad von 38 % - mithin 2 % unter dem rentenbegründenden Wert von 40 % - sei die damalige Rentenzusprache nicht offensichtlich unrichtig gewesen, weshalb der vorinstanzliche Entscheid bundesrechtswidrig sei. Weiter verletze es Bundesrecht, wenn ihm mit Blick auf den verneinten Anspruch auf Eingliederungsmassnahmen angelastet werde, dass er die Voraussetzungen für Umschulungsmassnahmen nicht erfülle und ihm keine geeigneten Arbeitsstellen zur Verwertung seiner Restarbeitsfähigkeit zugewiesen werden konnten. Die eingeschränkte Arbeitsfähigkeit bzw. Invalidität verunmögliche eine Eingliederung in den Erwerbsprozess, was die IV-Stelle und das RAV zur Kenntnis genommen hätten. Gerade in solchen Fällen müsse gemäss bundesgerichtlicher Rechtsprechung abgeklärt werden, ob sich ein medizinisch-theoretisch wiedergewonnenes Leistungsvermögen ohne Weiteres in einem entsprechend tieferen Invaliditätsgrad niederschlage oder ob ausnahmsweise im Einzelfall eine erwerbsbezogene Abklärung und/oder die Durchführung von Eingliederungsmassnahmen nötig seien. Dies habe die Vorinstanz hier in Verletzung von Bundesrecht unterlassen. Es gehe nicht an, bei dem in seiner angestammten Tätigkeit als Hilfsmaurer vollständig arbeitsunfähigen Versicherten anhand rückwärtsgerichteter Annahmen nach 15-jährigem Rentenbezug unvermittelt davon auszugehen, eine leidensangepasste Tätigkeit sei ohne Weiteres in einem rentenausschliessenden Umfang zumutbar. Dies sei umso stossender, als sich die wiedererwägungsweise Aufhebung der Rente einzig auf ein internistisch-rheumatologisches Gutachten stütze, obwohl gegenüber der Verwaltung eine polydisziplinäre Abklärung verlangt worden sei. Damit sei der Anspruch auf rechtliches Gehör verletzt.
4.
4.1. Mit der Argumentation, bei einem Invaliditätsgrad von 38 %, der lediglich um 2 % den für eine Viertelsrente notwendigen Invaliditätsgrad verfehle, sei keine offensichtliche Unrichtigkeit gegeben, verkennt der Beschwerdeführer, dass nicht der von der Vorinstanz eventualiter errechnete Invaliditätsgrad den Wiedererwägungstatbestand begründet, sondern die vorgenommene Würdigung und Feststellung des der rentenzusprechenden Verfügung vom 15. Juni 2001 zugrunde liegenden medizinischen Sachverhalts. Die Vorinstanz stellte diesbezüglich in nicht zu beanstandender Weise fest, dass die IV-Stelle zweifellos unrichtig angenommen habe, der Versicherte sei gestützt auf das Gutachten des Spitals C._ in einer leidensadaptierten Tätigkeit lediglich zu 50 % arbeitsfähig, obwohl dieses unmissverständlich festgehalten habe, dass vor einem Arbeitsversuch noch weitere, bereits geplante Abklärungs- und Behandlungsmassnahmen abzuwarten seien. Die Schätzung, ein Arbeitseinsatz im Umfang von 50 % wäre möglich, durfte mit der Vorinstanz zweifellos nicht als zuverlässige Grundlage für eine Invaliditätsermittlung herangezogen werden, zumal die weiteren medizinischen Berichte zum damaligen Zeitpunkt eine maximal um 20 % eingeschränkte Leistungsfähigkeit in einer rückenadaptierten Tätigkeit aufführten. Die Experten hielten unmissverständlich fest, dass zum damaligen Zeitpunkt wegen den unvollständigen Abklärungsmassnahmen keine definitive Prognose zur Arbeitsfähigkeit gestellt werden könne und sie würden ihre Entscheidung vom Befund der geplanten bildgebenden Untersuchung (mittels MRI) der Lendenwirbelsäule abhängig machen. Hinreichend sorgfältige und aussagekräftige Abklärungen zur Arbeitsfähigkeit in einer dem Leiden angepassten Tätigkeit lagen damit nicht vor, weshalb dieser Rentenentscheid auf einer nicht nachvollziehbaren, zweifellos unrichtigen medizinischen und rechtlichen Grundlage erging.
4.2. Nicht durchzudringen vermag der Beschwerdeführer ferner mit der Rüge, es seien vor der Rentenaufhebung keine Massnahmen zur Eingliederung durchgeführt worden, obwohl er bereits mehr als 15 Jahre eine Rente bezogen habe, was Bundesrecht verletze. Im Gebiet der Invalidenversicherung gilt ganz allgemein der Grundsatz, dass die invalide Person, bevor sie Leistungen verlangt, alles ihr Zumutbare selber vorzukehren hat, um die Folgen ihrer Invalidität bestmöglich zu mildern. Von den Versicherten können jedoch nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalls zumutbar sind (<ref-ruling> E. 4a S. 28 mit Hinweisen). Nach der Rechtsprechung sind bei Personen, deren Rente revisionsweise herabgesetzt oder aufgehoben werden soll, nach mindestens fünfzehn Jahren Bezugsdauer oder wenn sie das 55. Altersjahr zurückgelegt haben, in der Regel vorgängig Massnahmen zur Eingliederung durchzuführen, bis sie in der Lage sind, das medizinisch-theoretisch (wieder) ausgewiesene Leistungspotenzial mittels Eigenanstrengung auszuschöpfen und erwerblich zu verwerten (Urteile 8C_19/2016 vom 4. April 2016 E. 5.1, 9C_412/2014 vom 20. Oktober 2014 E. 3.1 und 9C_367/2011 vom 10. August 2011 E. 3.2, je mit Hinweisen). Ausnahmen vom Grundsatz der Unzumutbarkeit einer Selbsteingliederung liegen namentlich vor, wenn die langjährige Abstinenz vom Arbeitsmarkt auf invaliditätsfremde Gründe zurückzuführen ist, die versicherte Person besonders agil, gewandt und im gesellschaftlichen Leben integriert ist oder über besonders breite Ausbildungen und Berufserfahrungen verfügt. Verlangt sind immer konkrete Anhaltspunkte, die den Schluss zulassen, die versicherte Person könne sich trotz ihres fortgeschrittenen Alters und/ oder der langen Rentenbezugsdauer mit entsprechender Absenz vom Arbeitsmarkt ohne Hilfestellungen wieder in das Erwerbsleben integrieren (Urteil 9C_183/2015 vom 19. August 2015 E. 5, in: SVR 2015 IV Nr. 41 S. 139). Die IV-Stelle trägt die Beweislast dafür, dass entgegen der Regel die versicherte Person in der Lage ist, das medizinisch-theoretisch (wieder) ausgewiesene Leistungspotenzial auf dem Weg der Selbsteingliederung erwerblich zu verwerten (Urteil 9C_87/2016 vom 23. November 2016 E. 5.2.1).
4.3. Der Beschwerdeführer bezog bei Erlass der rentenaufhebenden Verfügung seit über 15 Jahren eine halbe bzw. eine Dreiviertelsrente (zur Anknüpfung an den Zeitpunkt der rentenaufhebenden Verfügung resp. auf den darin verfügten Zeitpunkt der Rentenaufhebung vgl. <ref-ruling> E. 4.2.1 S. 7). Nach den Feststellungen der Vorinstanz war der Versicherte durchgehend, somit auch im Zeitpunkt der Zusprache einer Invalidenrente, im Minimum zu 50 % in einer leidensadaptierten Tätigkeit arbeitsfähig. Die Richtigkeit der vorinstanzlichen Erwägungen betreffend die fortwährende Restarbeitsfähigkeit stellt er nicht in Abrede. Trotzdem hat er ab Juli 2000 nicht mehr gearbeitet. Ebenso wenig hat er sich - nachdem er offenbar noch bis August 2002 Leistungen der Arbeitslosenversicherung bezogen hatte - je bei der IV-Stelle um Arbeitsvermittlung bemüht. Vielmehr verhält es sich so, dass er von ihrem ab August 2010 unterbreiteten "Angebot für den beruflichen Wiedereinstieg" keinen Gebrauch machte, ohne dass die dafür angeführten gesundheitlichen Gründe ausgewiesen wären. Darum verfängt auch sein Vorwurf nicht, weder das RAV noch die IV-Stelle hätten ihm je Arbeitsstellen vermitteln können. Ist einer versicherten Person die Verwertung einer Restarbeitsfähigkeit seit Jahren zumutbar und die berufliche Selbstintegration seither allein aus invaliditätsfremden Gründen unterblieben, ist die arbeitsmarktliche Desintegration nicht invaliditätsbedingt. Wenn die Vorinstanz hiervon in der vorliegenden Konstellation ausging, verletzte sie kein Bundesrecht. In einem solchen Fall besteht vor der Rentenaufhebung kein Anspruch auf Abklärung bzw. Durchführung beruflicher Eingliederungsmassnahmen (Urteil 9C_661/2014 vom 17. September 2015 E. 3.3 mit Hinweisen). Dass Verwaltung und Vorinstanz gestützt auf das internistisch-rheumatologische Gutachten der Frau Dr. med. B._ von einer vollständigen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit ausgingen und diesem dementsprechend vollen Beweiswert zuerkannten, ist bundesrechtskonform. Den Anspruch auf rechtliches Gehör verletzte das kantonale Gericht somit nicht, wenn es keine polydisziplinäre Abklärung, wie vom Versicherten ohne nähere Begründung beantragt, vornahm. Angesichts der umfassenden und klaren Aktenlage bleibt für die zur Hauptsache beantragte Rückweisung zur Neubeurteilung kein Raum. Damit hat es mit dem vorinstanzlichen Entscheid sein Bewenden und es bleibt bei der Rentenaufhebung auf Ende Januar 2016.
5.
Dem Ausgang des Verfahrens entsprechend hat der unterliegende Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Es kann ihm die unentgeltliche Rechtspflege gewährt werden (<ref-law>). Er wird der Gerichtskasse Ersatz zu leisten haben, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Eric Stern wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. August 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla