Sachverhalt:
A.
Der 1964 geborene A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 21. Februar 2008 und den hierauf ergangenen Beschwerdeentscheid des Sozialversicherungsgerichts des Kantons Zürich vom 31. März 2010 ab 1. Januar 2004 eine Viertelsrente und ab 1. Februar 2004 eine ganze Rente der Invalidenversicherung. Im Rahmen eines Rentenrevisionsverfahrens holte die Verwaltung nebst weiteren Abklärungen ein polydisziplinäres (Innere Medizin, Rheumatologie, Psychiatrie) Gutachten der MEDAS vom 4. August 2013 ein. Am 15. November 2013 verfügte die IV-Stelle, die Rente werde auf das Ende des der Verfügungszustellung folgenden Monats revisionsweise aufgehoben, da aufgrund einer gesundheitlichen Verbesserung keine Invalidität mehr vorliege.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter Gewährung der unentgeltlichen Rechtspflege mit Entscheid vom 27. März 2015 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des vorinstanzlichen Entscheides sei die IV-Stelle zu verpflichten, ab 1. Januar 2014 weiterhin die Rente zu bezahlen; eventuell sei die Sache zur weiteren Abklärung und Neubeurteilung an das kantonale Gericht, subeventuell an die Verwaltung, zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1.1 S. 137 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Im angefochtenen Entscheid sind die Bestimmungen und Grundsätze zur revisionsweisen Erhöhung, Herabsetzung oder Aufhebung einer Invalidenrente infolge erheblicher Änderung des Invaliditätsgrades sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten zutreffend dargelegt. Darauf wird verwiesen.
3.
Die Vorinstanz hat erwogen, aus dem MEDAS-Gutachten vom 4. August 2013 ergebe sich, dass sich die der Rentenzusprechung zugrunde gelegenen psychischen und physischen Leiden inzwischen gebessert hätten und die Arbeitsfähigkeit nunmehr in einem weit geringeren Masse als damals einschränkten. Im jetzigen Zeitpunkt sei der Beschwerdeführer für alle Tätigkeiten ohne repetitives Heben von Lasten über 20 kg und ohne repetitives Arbeiten in gebückter Haltung voll arbeitsfähig. Der darauf gestützte Einkommensvergleich ergebe, dass kein rentenbegründender Invaliditätsgrad mehr bestehe.
Die Einwände des Beschwerdeführers richten sich gegen die Beurteilung der physischen Leiden und ihrer Auswirkungen auf die Arbeitsfähigkeit. Diesbezüglich sei keine Verbesserung, sondern eine Verschlechterung eingetreten.
3.1. Gerügt wird als erstes, das kantonale Gericht gehe zu Unrecht davon aus, auch bei gleich bleibender Diagnose sei eine massgebliche Veränderung der gesundheitlichen Verhältnisse und deren Auswirkungen auf die Arbeitsfähigkeit möglich. Der Einwand ist nicht begründet. Die Vorinstanz stützt sich hiebei auf bewährte Rechtsprechung. Danach kann eine revisionsbegründende Änderung auch gegeben sein, wenn sich ein Leiden bei gleicher Diagnose in seiner Intensität und in seinen Auswirkungen auf die Arbeitsfähigkeit verändert hat (vgl. nebst dem im angefochtenen Entscheid erwähnten Urteil 9C_261/2009 vom 11. Mai 2009 E. 1.2 u.a. Urteile 9C_109/2013 vom 9. April 2013 E. 3.2 und 3.3; 8C_959/2012 vom 3. April 2013 E. 2.4 und 8C_719/2012 vom 19. November 2012 E. 3.2.2.2).
3.2. Die weiteren Einwände richten sich gegen die vorinstanzliche Beurteilung, wonach gestützt auf das MEDAS-Gutachten vom 4. August 2013 von einer solchen Verbesserung von physischem Gesundheitszustand und Arbeitsfähigkeit auszugehen ist.
3.2.1. Der Beschwerdeführer bringt vor, die Vorinstanz habe offensichtlich unrichtig festgestellt, die von ihm eingereichten Berichte über MRI-Untersuchungen der Wirbelsäule vom September 2013 enthielten keine Diagnosen, welche wesentlich vom MEDAS-Gutachten abwichen. Konkret wird geltend gemacht, das MEDAS-Gutachten stütze sich lediglich auf konventionelle Röntgenaufnahmen. Die MRI-Berichte vom September 2013 bestätigten nicht nur diskrete Veränderungen von HWS, BWS und LWS, sondern eine Überstreckung der HWS mit mehrsegmentalen degenerativen Veränderungen bei fortgeschrittener Osteochondrose. Eine Fehlstellung der HWS hat aber auch der MEDAS-Rheumatologe diagnostiziert und seiner Beurteilung zugrunde gelegt. Er konnte sich überdies auf frühere MRI-Berichte stützen, in welchen die Osteochrondrose bereits erwähnt worden ist. Die Vorbringen des Versicherten sind daher nicht geeignet, die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig erscheinen zu lassen. Gleiches gilt für den weiteren Einwand, die MRI-Untersuchung vom September 2013 habe eine im Verlauf neue Bandscheibenprotrusion in Höhe von LWK 2/3 ergeben. Den medizinischen Akten lassen sich keine Anhaltspunkte dafür entnehmen, dass der Versicherte wegen Beschwerden in diesem Bereich eingeschränkt wäre.
3.2.2. Beanstandet wird sodann die vorinstanzliche Feststellung, aufgrund der Ergebnisse der vom MEDAS-Rheumatologen vorgenommenen klinischen Untersuchung sei von einer Abnahme der objektiv feststellbaren funktionellen Einschränkungen auszugehen. Der Beschwerdeführer rügt diese Beweiswürdigung als offensichtlich unrichtig. Er macht geltend, die MRI-Untersuchung vom September 2013 habe wesentlich schwerwiegendere Diagnosen ergeben, weshalb die Ergebnisse der klinischen Untersuchung nicht verlässlich seien. Diesem Einwand ist schon nach dem bereits Gesagten die Grundlage entzogen. Vorgebracht wird weiter, auf die Resultate der klinischen Untersuchung könne nicht abgestellt werden, da sie vom Rechtsanwender nicht überprüfbar seien. Hier liege daher auch eine Rechtsverletzung durch die Vorinstanz vor. Diese Rüge ist ebenfalls nicht stichhaltig. Es gehört zur Aufgabe des medizinischen Experten, auch die klinisch feststellbaren Befunde zu erheben und seiner Einschätzung der bestehenden Einschränkungen zugrunde zu legen. Diese Einschätzung bildet notwendige Grundlage der Invaliditätsbeurteilung. Die rechtsanwendende Behörde stützt sich darauf, wenn keine konkreten Anhaltspunkte vorliegen, welche die fachärzliche Stellungnahme in Frage stellen. Solche Anhaltspunkte liegen hier nicht vor. Dass das kantonale Gericht auch bezüglich der Ergebnisse der klinischen Untersuchung auf das MEDAS-Gutachten abgestellt hat, ist daher nicht offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig.
3.3. Zusammenfassend ergibt sich Folgendes: Der psychische Gesundheitszustand hat sich seit der Rentenzusprechung unbestrittenermassen verbessert. Sodann hat das kantonale Gericht rechtmässig festgestellt, dass dies auch für den physischen Gesundheitszustand sowie seine Auswirkungen auf das Leistungsvermögen gilt und nunmehr eine volle Arbeitsfähigkeit in angepasster Tätigkeit besteht. Der von der Vorinstanz dementsprechend vorgenommene Einkommensvergleich mit dem Ergebnis eines nicht mehr rentenbegründenden Invaliditätsgrades wird vom Versicherten nicht beanstandet. Die Beschwerde ist abzuweisen.
4.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Tomas Kempf wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. August 2015
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz