Sachverhalt: A. Der 1964 geborene A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 21. Februar 2008 und den hierauf ergangenen Beschwerdeentscheid des Sozialversicherungsgerichts des Kantons Zürich vom 31. März 2010 ab 1. Januar 2004 eine Viertelsrente und ab 1. Februar 2004 eine ganze Rente der Invalidenversicherung. Im Rahmen eines Rentenrevisionsverfahrens holte die Verwaltung nebst weiteren Abklärungen ein polydisziplinäres (Innere Medizin, Rheumatologie, Psychiatrie) Gutachten der MEDAS vom 4. August 2013 ein. Am 15. November 2013 verfügte die IV-Stelle, die Rente werde auf das Ende des der Verfügungszustellung folgenden Monats revisionsweise aufgehoben, da aufgrund einer gesundheitlichen Verbesserung keine Invalidität mehr vorliege. B. Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich unter Gewährung der unentgeltlichen Rechtspflege mit Entscheid vom 27. März 2015 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Aufhebung des vorinstanzlichen Entscheides sei die IV-Stelle zu verpflichten, ab 1. Januar 2014 weiterhin die Rente zu bezahlen; eventuell sei die Sache zur weiteren Abklärung und Neubeurteilung an das kantonale Gericht, subeventuell an die Verwaltung, zurückzuweisen. Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.