Sachverhalt: A. A._ bezog gestützt auf die Verfügung der IV-Stelle des Kantons Zürich vom 12. November 2004 ab 1. Januar 2004 bei einem Invaliditätsgrad von 48 % eine Viertelsrente (nebst einer Kinderrente) der Invalidenversicherung. Im Rahmen des im September 2010 eingeleiteten Revisionsverfahrens holte die Verwaltung nebst weiteren Abklärungen ein bidisziplinäres psychiatrisch-rheumatologisches Gutachten vom 17. Mai 2011 ein. Mit Verfügung vom 31. Mai 2012 hob die IV-Stelle die Rente auf den ersten Tag des zweiten Monats nach Zustellung der Verfügung auf. B. Beschwerdeweise beantragte A._ die Aufhebung der Verfügung vom 31. Mai 2012. Das Sozialversicherungsgericht des Kantons Zürich gewährte ihr die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 3. Dezember 2013 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, der vorinstanzliche Entscheid und die Verfügung vom 31. Mai 2012 seien aufzuheben. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.