Sachverhalt:
A.
Der 1968 geborene A._ meldete sich, nachdem ein früheres Rentenbegehren mangels eines genügenden Invaliditätsgrades rechtskräftig abgewiesen worden war, im Juni 2007 unter Hinweis auf eine Rückenproblematik erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich holte nebst weiteren Abklärungen ein bidisziplinäres Gutachten der Rheumatologin Dr. med. B._, und des Psychiaters Dr. med. C._, Chefarzt Klinik D._, vom 3./8. September 2009 ein. Mit Verfügungen vom 21. Mai und 2. Juni 2010 sowie - sich aufs Betragliche beschränkenden - Verfügungen vom 12. und 24. Januar 2011 sprach sie dem Versicherten rückwirkend ab 1. Juni 2006 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente und ab 1. März 2007 bei einem Invaliditätsgrad von 60 % eine Dreiviertelsrente zu. Im Rahmen eines Revisionsverfahrens veranlasste die IV-Stelle ein bidisziplinäres Verlaufsgutachten der Dres. med. B._ und C._, welches am 16. Juli/7. November 2011 erstattet wurde. Gestützt auf einen Einkommensvergleich gelangte die Verwaltung zum Ergebnis, dass bei einem Invaliditätsgrad von 60 % weiterhin Anspruch auf eine Dreiviertelsrente bestehe. Das teilte sie dem Versicherten am 14. Dezember 2011 schriftlich mit.
Anlässlich eines weiteren Revisionsverfahrens gab die Verwaltung eine Potenzialabklärung (Arbeitsdiagnostik) bei der Psychiatrischen Klinik E._ in Auftrag, welche vom 3. bis 28. März 2014 durchgeführt wurde. Darüber wurde ihr am 17. April 2014 Bericht erstattet. Sodann traf die IV-Stelle Abklärungen zur Frage, ob der Versicherte der Pflicht zur Schadenminderung mittels intensiver fachärztlicher psychiatrischer-psychotherapeutischer Behandlung, welche sie ihm mit Schreiben vom 4. Juni 2013 auferlegt habe, nachgekommen sei. Mit Verfügung vom 28. Mai 2015 hob die Verwaltung mit der Begründung, dies sei nicht erfolgt, die Rente auf das Ende des der Verfügungszustellung folgenden Monats auf.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. Oktober 2016 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung vom 28. Mai 2015 sei festzustellen, dass er über den 31. Juli 2015 hinaus Anspruch auf eine Dreiviertelsrente habe. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1 S. 236; <ref-ruling> E. 1.1 S. 137 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es die von der Verwaltung verfügte Aufhebung der seit März 2007 ausgerichteten und im Dezember 2011 revisionsweise bestätigten Dreiviertelsrente der Invalidenversicherung bestätigte.
Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze zum Gebot der Selbsteingliederung als Ausdruck der Schadenminderungspflicht der versicherten Person, zur Zumutbarkeit darauf gerichteter Behandlungs- und Eingliederungsmassnahmen, zur Kürzung oder Verweigerung von Leistungen bei Verletzung dieser Pflichten sowie zum Mahn- und Bedenkzeitverfahren zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht hat erwogen, dem Beschwerdeführer sei im Mahn- und Bedenkzeitverfahren eine Schadenminderungspflicht auferlegt worden. Es nimmt dabei Bezug auf ein Schreiben der Verwaltung vom 4. Juni 2013. Darin wurde festgehalten, die Erwerbsfähigkeit könne mit einer regelmässigen und intensiven fachärztlichen psychiatrisch-psychotherapeutischen Behandlung, mit einem wöchentlichen, allenfalls 14-tägigen Konsultationsrhythmus für die Dauer von zunächst 3 Monaten, bei Behandlungsindikation gemäss Psychiater bis zu 12 Monaten, wesentlich verbessert werden; insbesondere sollte im Rahmen der Behandlung eine schlaffördernde Medikation geprüft werden. Die Verwaltung forderte den Versicherten, unter Hinweis auf dessen Mitwirkungs- und Schadenminderungspflicht sowie die Folgen der Nichtbeachtung gemäss Art. 21 Abs. 4 und Art. 43 Abs. 3 ATSG, auf, sich dieser Behandlung zu unterziehen. Die Vorinstanz hat erkannt, von einer auf dieses Schreiben hin erfolgten intensiven fachärztlichen Behandlung könne keine Rede sein. Die Rente sei daher zu Recht wegen Nichterfüllung der Mitwirkungs- und Schadenminderungspflicht aufgehoben worden.
3.2. Der Beschwerdeführer bestreitet, das Schreiben vom 4. Juni 2013 erhalten zu haben resp. über dessen Inhalt informiert worden zu sein. Soweit die Vorinstanz zu einem anderen Ergebnis gelangt sei, beruhe dies u.a. auf einer bundesrechtswidrigen Beweislastverteilung. In der Tat hat das kantonale Gericht erwogen, mangels eines Unzustellbarkeitsnachweises sei nicht davon auszugehen, dass das Schreiben vom 4. Juni 2013 dem Versicherten nicht zugegangen sei. Das widerspricht dem bundesrechtlichen Grundsatz, wonach die Verwaltung die Beweislast dafür trägt, dass die Zustellung tatsächlich erfolgt ist (<ref-ruling> E. 5.9 S. 309 mit Hinweisen, vgl. auch <ref-ruling> E. 4.3 S. 128). Sodann weist das von der Verwaltung aufgelegte Schreiben vom 4. Juni 2013 zwar den Vermerk "Einschreiben" auf. Der Beschwerdeführer macht aber zu Recht geltend, dass kein Beleg dafür vorliegt, dass das Schreiben tatsächlich an ihn versandt und ihm zugestellt wurde. Es ist unbestrittenermassen weder ein Barcode auf einem Couvert aktenkundig noch liegt ein Zustellnachweis über Track&Trace der Post oder durch ein anderweitiges Dokument vor. Dieser Nachweis ergibt sich nicht auch aus dem Schreiben der - mit einer Kopie des Schreibens vom 4. Juni 2013 bedienten - Sozialversicherungsfachstelle der Stadt Winterthur vom 26. Juni 2013. Darin hat die Sozialversicherungsfachstelle unter Bezugnahme auf die geführte Korrespondenz lediglich festgehalten, der Beschwerdeführer sei bei der F._ in psychiatrischer Behandlung. Zwar mag die Sozialversicherungsfachstelle die Information über diese Behandlung vom Versicherten erhalten haben. Daraus kann aber entgegen der vorinstanzlichen Beurteilung nicht abgeleitet werden, der Beschwerdeführer sei über die Schadenminderungspflicht informiert worden resp. habe deswegen die Behandlung angetreten, hatte doch die psychiatrisch-psychotherapeutische Therapie bei der F._ gemäss deren Bestätigung vom 23. Mai 2014 bereits am 14. Mai 2013, mithin vor dem Verwaltungsschreiben vom 4. Juni 2013, begonnen. Der Versicherte rügt daher zu Recht als willkürlich, dass das kantonale Gericht trotz fehlenden Nachweises geschlossen hat, er sei über die mit Schreiben vom 4. Juni 2013 auferlegte Schadenminderungspflicht und die Androhung der Folgen bei Nichtbeachtung informiert gewesen. Damit kann offen bleiben, ob der Versicherte, wie von ihm geltend gemacht, sich nicht ohnehin aus eigenem Antrieb einer Therapie unterzogen hat, welche der Schadenminderungspflicht gemäss dem besagten Schreiben genügen würde.
4.
Nach dem Gesagten hat das kantonale Gericht bundesrechtswidrig entschieden, der Versicherte sei über die mit Verwaltungsschreiben vom 4. Juni 2013 auferlegte Schadenminderungspflicht informiert gewesen. Damit hat auch kein rechtsgültiges Mahn- und Bedenkzeitverfahren stattgefunden. Zu prüfen bleibt, ob die Rentenaufhebung dennoch rechtsgültig erfolgt ist.
Die Vorinstanz hat ergänzend erwogen, die Rente wäre auch ohne Auferlegung einer Schadenminderungspflicht zu Recht aufgehoben worden. Denn eine invalidisierende Wirkung der gesundheitlichen Beeinträchtigung und damit ein Rentenanspruch sei ohnehin zu verneinen. Das kantonale Gericht legt aber nicht dar, dass eine erhebliche Änderung der tatsächlichen Verhältnisse eingetreten ist, welche eine revisionsweise Aufhebung der Rente nach <ref-law> begründen könnte. Es scheint denn auch einen Rentenanspruch eher von Beginn weg zu verneinen, legt aber nicht dar, inwiefern sich dies auf einen Rückkommenstitel im Sinne einer prozessualen Revision (<ref-law>) resp. einer Wiedererwägung (<ref-law>) stützen liesse. Ein Rechtsgrund für die substituierte Begründung ist daher nicht gegeben. Dies führt zur Gutheissung der Beschwerde. Der Versicherte verweist im Übrigen zu Recht darauf, dass ihm zu einer solchen neuen Entscheidsbegründung vorab das rechtliche Gehör hätte gewährt werden müssen.
5.
Die unterliegende Beschwerdegegnerin hat die Kosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG). Damit ist das Gesuch um unentgeltliche Rechtspflege gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 13. Oktober 2016 und die Verfügung der IV-Stelle des Kantons Zürich vom 28. Mai 2015 werden aufgehoben.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Februar 2017
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz