Sachverhalt:
A.
Der 1959 geborene, als Gartenarbeiter tätig gewesene A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 26. November 2002 ab 1. August 2001 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente der Invalidenversicherung. Nach Einholen eines rheumatologischen Gutachtens vom 28. November 2013 und einer psychiatrischen Expertise vom 7. April 2014 hob die IV-Stelle mit Verfügung vom 16. Juni 2014 die Rente gestützt auf lit. a Abs. 1 der Schlussbestimmungen zur 6. IV-Revision, erstes Massnahmenpaket, vom 18. März 2011 (in Kraft getreten am 1. Januar 2012; nachfolgend: SchlBest) auf den ersten Tag des zweiten Monats nach Zustellung der Verfügung auf.
B.
Die von A._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich nach Gewährung der unentgeltlichen Rechtspflege mit Entscheid vom 24. November 2015 ab.
C.
A._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und die ganze Rente weiterhin auszurichten; eventuell sei die Sache zu weiteren Abklärungen und neuem Entscheid an die Verwaltung zurückzuweisen. Zudem sei die unentgeltliche Rechtspflege für das letztinstanzliche Verfahren zu gewähren.
Es wird kein Schriftenwechsel durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.6 S. 280; vgl. auch <ref-ruling> E. 1 S. 236; <ref-ruling> E. 1.1 S. 137 f.).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob die seit 1. August 2001 ausgerichtete Invalidenrente zu Recht in Anwendung von lit. a Abs. 1 SchlBest aufgehoben wurde.
Die Vorinstanz hat die Bestimmungen zu den Begriffen Invalidität und Erwerbsunfähigkeit, zum nach dem Invaliditätsgrad abgestuften Anspruch auf eine Invalidenrente (mit den vorausgesetzten Mindestinvaliditätsgraden von 40 % für eine Viertelsrente, 50 % für eine halbe Rente, 60 % für eine Dreiviertelsrente und 70 % für eine ganze Rente) und zur Revision der Invalidenrente nach lit. a SchlBest in Verbindung mit <ref-law> zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur invalidisierenden Wirkung psychosomatischer Leiden nach <ref-ruling>, zur Aufgabe von Arzt oder Ärztin bei der Beurteilung der Arbeitsfähigkeit sowie zu den Anforderungen an beweiswertige ärztliche Berichte und Gutachten. Darauf wird verwiesen. Zu ergänzen ist, dass die Rechtsprechung nach <ref-ruling> auch auf Rentenüberprüfungen gemäss SchlBest zur Anwendung gelangt (Urteil 9C_354/2015 vom 29. Februar 2016 E. 5 mit Hinweisen).
3.
Das kantonale Gericht hat erkannt, es liege keine Verbesserung des Gesundheitszustandes vor, welche eine Rentenrevision nach <ref-law> rechtfertigen würde. Hingegen sei die seit 2001 ausgerichtete Invalidenrente gestützt auf lit. a SchlBest aufzuheben.
4.
Umstritten ist zunächst, ob ein Anwendungsfall von lit. a SchlBest vorliegt. Die Vorinstanz hat dies mit der Begründung bejaht, die Invalidenrente sei gestützt auf ein pathogenetisch-ätiologisch unklares syndromales Beschwerdebild ohne nachweisbare organische Grundlage im Sinne von Abs. 1 dieser Bestimmung zugesprochen worden und es liege kein Ausschlussgrund gemäss Abs. 4 vor. Der Versicherte bestreitet, dass die Rentenzusprechung auf einem solchen Beschwerdebild beruhte. Daher sei lit. a SchlBest nicht anwendbar.
4.1. Das kantonale Gericht hat in einlässlicher Würdigung der medizinischen Akten namentlich erwogen, die somatischen Fachärzte, welche damals Bericht erstatteten, hätten weitestgehend Normalbefunde festgestellt und/oder gestützt auf die objektivierbare Befundlage ein hinreichendes organisches Korrelat für die geklagten Beschwerden zumindest ernsthaft in Zweifel gezogen. Zwar seien auch degenerative Veränderungen beschrieben worden. Es fehlten aber insbesondere Hinweise für eine wesentliche radikuläre Läsion, und aus neurologischer Sicht habe sich ein sicherer Ausfall nicht nachweisen lassen. Aufgrund der intakten neurologischen Situation sei auch keine operative Behandlung indiziert gewesen.
4.2. Die Vorbringen in der Beschwerde lassen diese Sachverhaltsfeststellungen nicht als offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig erscheinen. Aus den medizinischen Akten (insbesondere die Berichte des orthopädischen Chirurgen PD Dr. med. B._ vom 28. Mai 2002, des Spitals C._, Institut für Anästhesiologie, vom 21. Januar 2002, der Klinik D._ vom 16. November 2001 und des Neurologen Dr. med. E._ vom 30. April 2001) ergibt sich denn auch, dass damals in erster Linie von einer somatoformen Schmerzstörung resp. einem generalisierten Schmerzsyndrom und einer erheblichen funktionellen Überlagerung ausgegangen wurde. Entgegen der Auffassung des Beschwerdeführers rechtfertigen die Berichte des Hausarztes wie auch der frühere Bericht des PD Dr. med. B._ vom 27. Febuar 2002 keine andere Betrachtungsweise. Selbst wenn gewisse somatische Befunde, wie altersentsprechende degenerative Veränderungen, erhoben wurden, steht dies der Einordnung des Gesamtleidens als syndromales Beschwerdebild nicht entgegen (vgl. Urteil 9C_843/2014 vom 4. September 2015 E. 5.3). Derartigen Veränderungen kamen hier nach Lage der Akten keine eigenständige Bedeutung zu. Der Schluss der Vorinstanz, die ursprüngliche Rentenzusprache sei nicht wegen "erklärbaren" Beschwerden erfolgt, verstösst daher nicht gegen Bundesrecht (vgl. erwähntes Urteil 9C_843/2014 E. 5.3 mit Hinweis auf Urteil 8C_90/2015 vom 23. Juli 2015 E. 3.2). Der Überprüfung der Rente nach lit. a Abs. 1 SchlBest steht damit nichts entgegen, zumal sie innerhalb der in dieser Bestimmung vorgesehenen dreijährigen Frist erfolgt ist und unbestrittenermassen kein Ausschlussgrund nach lit. a Abs. 4 SchlBest vorliegt.
5.
Das kantonale Gericht ist im Rahmen dieser Überprüfung zum Ergebnis gelangt, sowohl beim im rheumatologischen Gutachten vom 28. November 2013 diagnostizierten Ganzkörperschmerzsyndrom als auch bei der in der psychiatrischen Expertise vom 7. April 2014 diagnostizierten anhaltenden somatoformen Schmerzstörung handle es sich um psychosomatische Störungen ohne organische Grundlage. Ob diese invalidisierend seien, beurteile sich nach <ref-ruling>. Unter Berücksichtigung der zu beachtenden Standardindikatoren und insbesondere des beweisrechtlich relevanten Aspektes der Konsistenz komme den Befunden kein invalidisierender Charakter zu. Im Übrigen erscheine gemäss den Ausführungen im psychiatrischen Gutachten vom 7. April 2014 selbst die Diagnose einer anhaltenden somatoformen Schmerzstörung als fraglich.
5.1. Der Beschwerdeführer wendet namentlich ein, die medizinischen Akten genügten nicht, um die nach <ref-ruling> zu beachtenden Standardindikatoren beurteilen zu können. Das gelte erst recht, wenn berücksichtigt werde, dass die Gutachten vom 28. November 2013 und 7. April 2014 ohne Zuhilfenahme eines Dolmetschers erstellt worden seien.
Die Vorbringen sind nicht geeignet, die vorinstanzliche Beurteilung in Frage zu stellen. Das kantonale Gericht hat in einlässlicher Würdigung der medizinischen Akten in bundesrechtlich haltbarer Weise erkannt, dass diese hinreichenden Aufschluss bieten, um eine Beurteilung nach <ref-ruling> vornehmen zu können. Das gilt namentlich auch für das psychiatrische Gutachten vom 7. April 2014. Hervorzuheben ist, dass der psychiatrische Experte darin zum Ergebnis gelangt ist, die anhaltende somatoforme Schmerzstörung, soweit überhaupt gegeben, beeinträchtige die Arbeitsfähigkeit nicht. Seine weiteren Ausführungen sind hinreichend aussagekräftig, um eine invalidisierende Gesundheitsschädigung nach Massgabe der Standardindikatoren gemäss <ref-ruling> verneinen zu können. Wie das kantonale Gericht überdies zutreffend erwogen hat, wird in den Gutachten vom 28. November 2013 und 7. April 2014 von aggravatorischem Verhalten des Versicherten ausgegangen, was sogar für einen Ausschlussgrund im Sinne von <ref-ruling> E. 2.2.1 S. 287 spricht.
Den Einwand, es hätte ein Dolmetscher beigezogen werden müssen, hat die Vorinstanz ebenfalls überzeugend entkräftet. Sie hat erwogen, sowohl der rheumatologische als auch der psychiatrische Experte hätten, in Wahrnehmung des ihnen zustehenden Ermessens und nach Massgabe der bei der Auftragserfüllung zu beachtenden Sorgfalt, die sprachliche Ausdrucksfähigkeit des Beschwerdeführers als ausreichend erachtet. Der psychiatrische Experte sei denn auch davon ausgegangen, der Versicherte könne sich bei einem deutschsprachigen Psychotherapeuten in Behandlung begeben. Dies werde dadurch plausibilisiert, dass alle vorherigen Untersuchungen ohne Dolmetscher stattgefunden hätten. Was der Versicherte vorbringt, vermag diese Beweiswürdigung nicht als offensichtlich unrichtig erscheinen zu lassen. Bereits im erwähnten neurologischen Arztbericht vom 30. April 2001 wird denn auch ausgeführt, der Beschwerdeführer spreche ordentlich deutsch. Es gibt zudem keine Hinweise darauf, dass die Aussagekraft und damit die beweismässige Verwertbarkeit der Gutachten durch Verständigungsschwierigkeiten in Frage gestellt wäre (vgl. zum Ganzen: Urteile 8C_578/2014 vom 17. Oktober 2014 E. 4.2.5 f.; 8C_266/2012 vom 2. Juli 2012 E. 4.1; 8C_913/2010 vom 18. April 2011 E. 3.3.1).
5.2. Entgegen der in der Beschwerde vertretenen Auffassung hat die Vorinstanz auch in rechtmässiger antizipierter Beweiswürdigung, ohne den Untersuchungsgrundsatz zu verletzen, von weiteren medizinischen Abklärungen abgesehen, da diese keinen entscheidrelevanten neuen Aufschluss erwarten lassen.
6.
Nach dem Gesagten wurde die Rente zu Recht gestützt auf lit. a Abs. 1 SchlBest aufgehoben. Dies führt zur Abweisung der Beschwerde. Damit muss auf die weiteren Erwägungen der Vorinstanz, ob die Rente allenfalls auch wiedererwägungsweise aufzuheben wäre, nicht eingegangen werden.
7.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Viktor Györffy wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. April 2016
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Der Gerichtsschreiber: Lanz