Sachverhalt:
A.
A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 12. November 2004 ab 1. Januar 2004 bei einem Invaliditätsgrad von 48 % eine Viertelsrente (nebst einer Kinderrente) der Invalidenversicherung. Im Rahmen des im September 2010 eingeleiteten Revisionsverfahrens holte die Verwaltung nebst weiteren Abklärungen ein bidisziplinäres psychiatrisch-rheumatologisches Gutachten vom 17. Mai 2011 ein. Mit Verfügung vom 31. Mai 2012 hob die IV-Stelle die Rente auf den ersten Tag des zweiten Monats nach Zustellung der Verfügung auf.
B.
Beschwerdeweise beantragte A._ die Aufhebung der Verfügung vom 31. Mai 2012. Das Sozialversicherungsgericht des Kantons Zürich gewährte ihr die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 3. Dezember 2013 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid und die Verfügung vom 31. Mai 2012 seien aufzuheben. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
Streitig und zu prüfen ist, ob die IV-Stelle am 31. Mai 2012 zu Recht die Aufhebung der seit 1. Januar 2004 ausgerichteten Viertelsrente der Invalidenversicherung verfügt hat .
Die Verwaltung hat sich hiebei auf lit. a Abs. 1 der am 1. Januar 2012 in Kraft getretenen Schlussbestimmungen der Änderung vom 18. März 2011 des Bundesgesetzes über die Invalidenversicherung (6. IV-Revision, erstes Massnahmenpaket [AS 2011 5659]; nachfolgend: SchlBest. IVG) gestützt. Das kantonale Gericht hat die Rentenaufhebung im Ergebnis bestätigt. Diese habe aber in Anwendung der Revisionsregelung des <ref-law> zu erfolgen. Die Versicherte macht geltend, die Rente sei weiter auszurichten.
3.
Im angefochtenen Entscheid sind die Bestimmungen zu den Begriffen Invalidität (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), zum nach dem Grad der Invalidität abgestuften Anspruch auf eine Invalidenrente (mit dem hiefür erforderlichen Invaliditätsgrad von mindestens 40 %; <ref-law>), zur Invaliditätsbemessung mittels Einkommensvergleichs (<ref-law>), zur revisionsweisen Erhöhung, Herabsetzung oder Aufhebung einer Rente infolge erheblicher Änderung des Invaliditätsgrades (<ref-law>) und zur Überprüfung von Renten, die auf pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage beruhen (lit. a Abs. 1 SchlBest. IVG), zutreffend dargelegt. Gleiches gilt für die Rechtsprechung zur invalidisierenden Wirkung anhaltender somatoformer Schmerzstörungen und anderer unklarer Beschwerden, zur Aufgabe von Arzt oder Ärztin bei der Invaliditätsbemessung und zu den Anforderungen an beweiswertige ärztliche Berichte oder Gutachten. Darauf wird verwiesen.
4.
Das kantonale Gericht hat erkannt, bei der Invaliditätsbemessung gemäss der rentenzusprechenden Verfügung vom 12. November 2004 sei davon ausgegangen worden, aus psychiatrischer Sicht bestehe unter Berücksichtigung einer anhaltenden somatoformen Schmerzstörung eine Restarbeitsfähigkeit von 50 % in unterschiedlichen Tätigkeiten und aus rheumatologischer Sicht unter Berücksichtigung verschiedener Befunde eine Restarbeitsfähigkeit von 70 % in einer körperlich leichten Tätigkeit. Die Verwaltung habe sich hiebei auf das psychiatrische Gutachten vom 19. August 2004 und den rheumatologischen Abklärungsbericht vom 25. Mai 2004 gestützt. Diese Beurteilung ist nicht umstritten und gibt keinen Anlass zu Weiterungen.
5.
5.1. Die Vorinstanz hat sodann erwogen, entgegen der Verwaltungsverfügung vom 31. Mai 2012 seien die Voraussetzungen für die Anwendung von lit. a Abs. 1 SchlBest. IVG nicht erfüllt. Seit der rentenzusprechenden Verfügung vom 12. November 2004 sei es aber zu einer Besserung der psychischen Beschwerden gekommen. Diese schränkten die Arbeitsfähigkeit nicht mehr ein. Der einzig von der rheumatologisch bedingten Beeinträchtigung ausgehende Einkommensvergleich ergebe nunmehr einen Invaliditätsgrad von 37 %. Das führe zur revisionsweisen Aufhebung der Rente nach <ref-law>. Die Verwaltungsverfügung vom 12. November 2004 sei daher im Ergebnis rechtens.
5.2. Die Beschwerdeführerin bestreitet, dass sich die psychischen Beschwerden und damit einhergehend die Arbeitsfähigkeit verbessert haben. Es liege lediglich eine andere Einschätzung des gleich gebliebenen Gesundheitszustandes und mithin kein Rentenrevisionsgrund vor.
Der Einwand ist begründet. Die Vorinstanz stützt sich bei ihrer Beurteilung auf die bidisziplinäre Expertise vom 17. Mai 2011. Darin wird aus psychiatrischer Sicht eine erschwerte Schmerzbeschwerdeverarbeitung mit auf Passivität und Aktivitätsvermeidung ausgerichtetem dysfunktionalem Fehlverhalten diagnostiziert. Der psychiatrische Gutachter hält fest, daraus lasse sich keine dauerhafte Einschränkung der Arbeitsfähigkeit ableiten. Er führt sodann aus, die in der Expertise vom 19. August 2004 gestellte Diagnose einer anhaltenden somatoformen Schmerzstörung könne nicht bestätigt werden. Dabei wird ganz offensichtlich auch auf den Zeitpunkt der damaligen Begutachtung Bezug genommen, kritisiert der psychiatrische Experte doch ausdrücklich, welche Bedeutung dem Umstand, dass Befunde somatisch nicht vollständig erklärt werden könnten, beigemessen worden sei. Dass sich der psychische Gesundheitszustand seit der Rentenzusprechung gebessert hätte, wird hingegen im Gutachten vom 17. Mai 2011 nicht bestätigt. Demnach liegt bloss eine unterschiedliche Beurteilung eines im Wesentlichen gleich gebliebenen Sachverhalts und keine revisionsbegründende Tatsachenänderung im Sinne von <ref-law> vor (<ref-ruling> E. 2b S. 372; Urteil 8C_972/2009 vom 27. Mai 2010 E. 3.2, nicht publ. in: <ref-ruling>, aber in: SVR 2011 IV Nr. 1 S. 1). Anhaltspunkte für eine solche Tatsachenänderung wurden auch nicht in anderer Weise festgestellt.
6.
Die Voraussetzungen für eine Aufhebung der Rente mittels der materiellen Revision gemäss <ref-law> sind nach dem Gesagten nicht erfüllt. Ein Zurückkommen auf die rentenzusprechende Verfügung mittels prozessualer Revision oder Wiedererwägung im Sinne von Art. 53 Abs. 1 und 2 ATSG steht bei den hier gegebenen Verhältnissen nicht zur Diskussion. Damit bleibt im Rahmen der Rechtsanwendung von Amtes wegen zu prüfen, ob entgegen der vorinstanzlichen Beurteilung ein Anwendungsfall von lit. a Abs. 1 SchlBest. IVG gegeben ist.
6.1. Gemäss lit. a Abs. 1 SchlBest. IVG werden Renten, die bei pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildern ohne nachweisbare organische Grundlage (nachfolgend: unklare Beschwerden, vgl. <ref-ruling> E. 2.1 S. 549; auch: unklare Beschwerdebilder, vgl. <ref-ruling> E. 2.2.1.3 S. 13) gesprochen wurden, innerhalb von drei Jahren nach Inkrafttreten dieser Änderung überprüft. Sind die Voraussetzungen nach Artikel 7 ATSG nicht erfüllt, so wird die Rente herabgesetzt oder aufgehoben, auch wenn die Voraussetzungen von Artikel 17 Absatz 1 ATSG nicht erfüllt sind (vgl. auch die hier nicht gegebenen Ausnahmetatbestände gemäss lit. a Abs. 4 SchlBest. IVG).
6.2. Das kantonale Gericht hat erwogen, die Rentenzusprechung habe in medizinischer Hinsicht nicht einzig auf der zu den unklaren Beschwerden zu zählenden psychischen Problematik beruht. Im Lichte des Urteils des Bundesgerichts 9C_308/2013 vom 26. August 2013 sei lit. a Abs. 1 SchlBest. IVG daher nicht anwendbar.
Nach dieser Betrachtungsweise soll lit. a Abs. 1 SchlBest. IVG nur dann zur Anwendung gelangen, wenn die Rente ausschliesslich aufgrund von unklaren Beschwerden zugesprochen wurde, nicht aber, wenn auch andere Gesundheitsschäden (nachfolgend: erklärbare Beschwerden) mitberücksichtigt wurden. Dem kann nicht gefolgt werden.
6.2.1. Auszugehen ist vom seit 1. Januar 2008 in Kraft stehenden <ref-law> (AS 2007 5129). Gemäss dieser Bestimmung sind für die Beurteilung des Vorliegens einer Erwerbsunfähigkeit ausschliesslich die Folgen der gesundheitlichen Beeinträchtigung zu berücksichtigen. Eine Erwerbsunfähigkeit liegt zudem nur vor, wenn sie aus objektiver Sicht nicht überwindbar ist.
Mit der Einführung dieser Regelung im Rahmen der 5. IV-Revision wurde die auf den Leitentscheiden <ref-ruling> und 130 V 352 basierende Rechtsprechung kodifiziert. Das heisst, es wird davon ausgegangen, dass Leistungsbeeinträchtigungen durch somatoforme Schmerzstörungen, Fibromyalgie und ähnliche Sachverhalte in der Regel mit einer zumutbaren Willensanstrengung überwindbar sind. Nur in Ausnahmefällen machen bestimmte Umstände, welche die Schmerzbewältigung intensiv und konstant behindern, den Wiedereinstieg in den Arbeitsprozess unzumutbar und liegt daher Erwerbsunfähigkeit vor (vgl. Botschaft vom 22. Juni 2005 zur Änderung des Bundesgesetzes über die Invalidenversicherung [5. IV-Revision], BBl 2005 4459, 4530 f. Ziff. 1.6.1.5.3, 4577 Ziff. 2.2.1; Botschaft vom 24. Februar 2010 zur Änderung des Bundesgesetzes über die Invalidenversicherung [6. IV-Revision, erstes Massnahmenpaket; nachfolgend: Botschaft 6. IV-Revision], BBl 2010 1817, 1841 Ziff. 1.3.1; <ref-ruling> E. 2.2.1.2 S. 12).
6.2.2. In zwei Leitentscheiden erkannte das Bundesgericht, weder die Rechtsprechung gemäss <ref-ruling> noch <ref-law> bildeten einen Grund für die Anpassung bereits laufender Renten (<ref-ruling>, 215). Der Gesetzgeber sah sich deswegen veranlasst, mit lit. a Abs. 1 SchlBest. IVG eine entsprechende rechtliche Grundlage für die Überprüfung laufender Renten zu schaffen (vgl. Botschaft 6. IV-Revision, a.a.O., 1841 Ziff. 1.3.1; <ref-ruling> E. 2.2.1.3 S. 13). Nach dieser Bestimmung sind auch laufende Renten - mit bestimmten, in lit. a Abs. 4 SchlBest. IVG genannten Ausnahmen - auf die Vereinbarkeit mit <ref-law> zu überprüfen und gegebenenfalls herabzusetzen oder aufzuheben, ohne dass hiefür ein Revisionsgrund im Sinne von <ref-law> gegeben sein muss.
6.2.3. Mit lit. a Abs. 1 SchlBest. IVG sollen hinsichtlich unklarer Beschwerden die Bezüger laufender Renten gleich behandelt werden wie Versicherte, welche neu eine Rente beantragen. Gleich wie die Begründung einer neuen Rente soll sich damit auch die weitere Ausrichtung einer laufenden Rente nach <ref-law> - im Vordergrund steht dessen Abs. 2 - bestimmen. Wird diese Regelung nicht auf laufende Renten angewendet, welche sowohl für unklare als auch für erklärbare Beschwerden zugesprochen wurden, wären deren Bezüger bessergestellt als die Bezüger laufender Renten, welche nur auf unklaren Beschwerden beruhen. Sie wären aber auch gegenüber Versicherten bevorteilt, welche neu eine Rente sowohl für unklare als auch für erklärbare Beschwerden beantragen. Denn bei diesen gelangt <ref-law> in Bezug auf die unklaren Beschwerden zweifellos zur Anwendung. Eine solche Ungleichbehandlung zugunsten der erstgenannten Bezügergruppe kann nicht Sinn und Zweck der lit. a Abs. 1 SchlBest. IVG sein. Von deren Anwendungsbereich sind daher laufende Renten nur auszunehmen, wenn und soweit sie auf erklärbaren Beschwerden beruhen.
Dieser Beurteilung steht auch <ref-ruling> E. 10 S. 568 f. nicht entgegen. Das dort Gesagte beschlägt zwar ausschliesslich unklare Beschwerden. Lassen sich solche von erklärbaren Beschwerden aber trennen, können die Schlussbestimmungen der 6. IV-Revision auf erstere Anwendung finden. Soweit E. 10.1.1 von <ref-ruling> (vgl. auch Urteile 9C_748/2013 vom 10. Februar 2014 E. 5.2 und 9C_307/2013 vom 21. August 2013 E. 5.1) anders verstanden werden sollte, ist dies zu präzisieren.
6.3. Im vorliegenden Fall zählen die in den Expertisen vom 19. August 2004 und 17. Mai 2011 aus psychiatrischer Sicht gestellten Diagnosen (anhaltende somatoforme Schmerzstörung resp. erschwerte Schmerzbeschwerdeverarbeitung mit auf Passivität und Aktivitätsvermeidung ausgerichtetem dysfunktionalem Fehlverhalten) zu den unklaren Beschwerden. Damit stellt sich im Lichte von lit. a Abs. 1 SchlBest. IVG in Verbindung mit <ref-law> und der zugrunde liegenden Rechtsprechung die Frage, ob diese Beschwerden mit zumutbarer Willensanstrengung überwindbar sind. Die IV-Stelle des Kantons Zürich hat dies in der Verfügung vom 31. Mai 2012 bejaht. Sie stützt sich dabei namentlich auf das bidisziplinäre Gutachten vom 17. Mai 2011. Das ist nicht zu beanstanden. Weder liegt eine erhebliche Komorbidität vor, noch sind die übrigen in Betracht kommenden Gesichtspunkte in einer Weise erfüllt, welche auf die - nur ausnahmsweise anzunehmende - Unzumutbarkeit der willentlichen Schmerzüberwindung schliessen lassen (vgl. <ref-ruling> E. 2.2.3 S. 354 f.). Dementsprechend hat auch der psychiatrische Experte im Gutachten vom 17. Mai 2011 überzeugend dargelegt, dass sich aus der auf seinem Fachgebiet gestellten Diagnose keine dauerhafte Einschränkung der Arbeitsfähigkeit ergibt.
Als invalidisierend ist demnach nur die rheumatologisch bedingte Beeinträchtigung anzusehen. Der davon ausgehende Einkommensvergleich der Vorinstanz mit dem Ergebnis eines Invaliditätsgrades von 37 % wird nicht beanstandet und gibt keinen Anlass zu Weiterungen. Der für einen Rentenanspruch mindestens erforderliche Invaliditätsgrad von 40 % wird damit nicht mehr erreicht, weshalb die Rente zu Recht aufgehoben wurde. Die Beschwerde ist abzuweisen.
7.
Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Hans Hegetschweiler wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter der Beschwerdeführerin wird aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Mai 2014
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz