Sachverhalt:
A.
Der 1965 geborene, zuletzt als Tiefbauarbeiter tätig gewesene M._ bezog gestützt auf die Verfügung der IV-Stelle Bern vom 6. Juni 2001 ab 1. August 1997 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente (nebst Zusatzrente für die Ehefrau und Kinderrenten) der Invalidenversicherung. Nach Durchführung einer Observation stellte die IV-Stelle dem Versicherten mit Vorbescheid vom 19. Januar 2012 in Aussicht, die Rente rückwirkend per 1. September 2010 aufzuheben. Am 15. März 2012 verfügte die Verwaltung, die Rente werde auf das Ende des der Verfügungszustellung folgenden Monats aufgehoben. Der Versicherte erhob dagegen Beschwerde. In der Folge verfügte die IV-Stelle am 2. Juli 2012 lite pendente, in Aufhebung der Verfügung vom 15. März 2012 werde die Rente per 1. September 2010 aufgehoben. Mit Entscheid vom 6. März 2013 wies das Verwaltungsgericht des Kantons Bern die Beschwerde ab. Es änderte dabei die Verwaltungsverfügung vom 15. März 2012 dahin gehend ab, dass die Rente per 31. August 2010 aufgehoben werde. Das wurde letztinstanzlich mit Entscheid des Bundesgerichts 8C_309/2013 vom 19. August 2013 bestätigt.
Mit zwei Verfügungen vom 24. September 2013 verlangte die IV-Stelle von M._ die Rückerstattung demnach zu viel ausbezahlter Rentenleistungen von Fr. 62'090.- für den Zeitraum von September 2010 bis Februar 2012 und von Fr. 6542.- für den Zeitraum von März bis April 2012.
B.
Beschwerdeweise beantragte M._, die Rückerstattungsverfügungen seien aufzuheben und es sei festzustellen, dass kein Rückforderungsanspruch bestehe. Das Verwaltungsgericht gewährte ihm die unentgeltliche Rechtspflege, trat auf das Feststellungsbegehren nicht ein und wies die Beschwerde im Übrigen ab (Entscheid vom 2. Juli 2014).
C.
M._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, die Rückerstattungsverfügungen und der kantonale Entscheid vom 2. Juli 2014 seien infolge Verwirkung des Rückforderungsanspruchs aufzuheben. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.
Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG), doch prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (BGE 138 I 274 E. 1.6 S. 280 mit Hinweisen).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
Es steht fest und ist unbestritten, dass der Beschwerdeführer die von der Beschwerdegegnerin zurückverlangten Rentenleistungen zu Unrecht bezogen und daher im Sinne von Art. 25 Abs. 1 ATSG - vorbehältlich eines Erlasses - grundsätzlich zurückzuerstatten hat. Streitig und zu prüfen ist, ob die Rückerstattungsforderung nach Art. 25 Abs. 2 ATSG verwirkt ist.
3.
Gemäss Art. 25 Abs. 2 ATSG erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Wird der Rückerstattungsanspruch aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist vorsieht, so ist diese Frist massgebend.
Bei den genannten Fristen handelt es sich um Verwirkungsfristen (BGE 138 V 74 E. 4.1 S. 77 mit Hinweisen; vgl. auch BGE 139 V 6 E. 2 S. 7 mit Hinweis und Urteil des Bundesgerichts 9C_369/2013 vom 2. September 2014 E. 2.1, zur Publikation vorgesehen). Für ihre Wahrung ist der Erlass der Rückerstattungsverfügung (und deren Zustellung an die rückerstattungspflichtige Person) massgebend (BGE 138 V 74 E. 5.2 S. 80 mit Hinweisen).
3.1. Zur Diskussion steht hier die einjährige, relative Verwirkungsfrist und hiebei die Frage, wann die IV-Stelle Kenntnis vom Rückforderungsanspruch erhalten hat. Das kantonale Gericht ist zum Ergebnis gelangt, das sei mit dem bundesgerichtlichen Urteil 8C_309/2013 vom 19. August 2013 erfolgt. Die einjährige Frist sei demnach in diesem Zeitpunkt ausgelöst und mit den Rückerstattungsverfügungen vom 24. September 2013 gewahrt worden. Damit erübrigten sich Weiterungen bezüglich einer allfälligen längeren strafrechtlichen Frist gemäss Art. 25 Abs. 2 Satz 2 ATSG. Der Beschwerdeführer macht geltend, die IV-Stelle habe bereits bei Erlass des Vorbescheides vom 19. Januar 2012, spätestens aber bei Erlass der rentenaufhebenden Verfügung vom 2. Juli 2012 Kenntnis vom Rückforderungsanspruch gehabt. Letzterer sei daher im Zeitpunkt der Rückerstattungsverfügungen vom 24. September 2013 verwirkt gewesen.
3.2. Nach der Rechtsprechung ist unter der Wendung "nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat" (Art. 25 Abs. 2 ATSG) der Zeitpunkt zu verstehen, in dem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen, oder mit andern Worten, in welchem sich der Versicherungsträger hätte Rechenschaft geben müssen über Grundsatz, Ausmass und Adressat des Rückforderungsanspruchs (BGE 139 V 6 E. 4.1 S. 8 mit Hinweisen, erwähntes Urteil 9C_369/2013 E. 2.1; vgl. auch BGE 139 V 570 E. 3.1 S. 572). Die Voraussetzungen für eine Rückforderung müssen demnach gegeben sein (vgl. auch BGE 112 V 180 E. 4a S. 181; 111 V 14 S. E. 3 S. 17; SVR 2011 EL Nr. 7 S. 21, 9C_999/2009 E. 3.2.1; Urteil 9C_877/2010 vom 28. März 2011 E. 4.2.1). Der Rückforderungsanspruch muss feststehen (BGE 139 V 570 E. 3.1 S. 572 in fine mit Hinweisen). Das setzt u.a. voraus, dass über die Unrechtmässigkeit des Leistungsbezugs rechtmässig verfügt resp. - im Beschwerdefall - gerichtlich entschieden ist. Das Bundesgericht hat denn auch wiederholt entschieden, es sei nicht bundesrechtswidrig, zuverlässige Kenntnis von der Rechtswidrigkeit des Leistungsbezugs erst nach Eintritt der Rechtskraft der Rentenaufhebung anzunehmen (SVR 2014 IV Nr. 4 S. 8, 8C_316/2014 E. 2.2; Urteil 9C_68/2011 vom 16. Mai 2011 E. 4.2; vgl. auch SVR 2014 BVG Nr. 22 S. 79, 9C_399/2013 E. 3.1.1 - 3.1.3).
3.3. Entgegen der in der Beschwerde vertretenen Auffassung genügte mithin der Erlass von Vorbescheid und Verfügung über die rückwirkende Renteneinstellung nicht zur Auslösung der einjährigen, relativen Verwirkungsfrist gemäss Art. 25 Abs. 2 ATSG. Was der Versicherte hiezu vorbringt, rechtfertigt keine andere Betrachtungsweise. Das gilt namentlich auch für den Einwand, der Rückerstattungsbetrag sei im Sinne des Urteils 8C_527/2010 vom 1. November 2010 einfach zu ermitteln gewesen. Erst recht kann die vorinstanzliche Beurteilung nicht als willkürlich betrachtet werden. Der vorliegende Fall zeigt vielmehr exemplarisch, dass die Rechtskraft der rentenaufhebenden Verfügung abzuwarten ist, wurde doch die erste Verfügung auf Beschwerde hin zu Ungunsten des Versicherten geändert. Es ist sodann nicht ersichtlich, weshalb sich das kantonale Gericht eingehender mit dem Urteil 8C_527/2010 hätte auseinandersetzen müssen. Die diesbezüglich erhobene Rüge einer Verletzung des Anspruchs auf rechtliches Gehör ist daher ebenfalls unbegründet.
3.4. Erst mit dem bundesgerichtlichen Urteil 8C_309/2013 vom 19. August 2013 ist rechtskräftig entschieden worden, dass die fraglichen Rentenleistungen zu Unrecht erfolgten. Die einjährige Frist gemäss Art. 25 Abs. 1 ATSG begann daher erst in dem Zeitpunkt zu laufen, in welchem die IV-Stelle von diesem Urteil Kenntnis erhielt oder bei der gebotenen Aufmerksamkeit hätte erhalten können. Die Frist wurde mit den Rückforderungsverfügungen vom 24. September 2013 zweifelsfrei eingehalten. Der Einwand, der Rückerstattungsanspruch sei verwirkt, ist daher unbegründet. Das führt diesbezüglich zur Abweisung der Beschwerde.
4.
Der Beschwerdeführer beanstandet sodann in eigenem Namen die Höhe der Entschädigung, welche das kantonale Gericht seinem Rechtsvertreter im Rahmen der unentgeltlichen Verbeiständung zugesprochen hat. Hiegegen kann indessen rechtsprechungsgemäss nur der Rechtsvertreter selber Beschwerde führen. Die rechtsvertretene Person ist dazu nicht legitimiert (SVR 2009 IV Nr. 48 S. 144, 9C_991/2008 E. 2.2.1 mit Hinweisen; vgl. auch Urteil 9C_520/2013 vom 23. Oktober 2013 E. 2 in fine, nicht publ. in: BGE 139 V 492, aber in: SVR 2014 EL Nr. 3 S. 5). Auf die Beschwerde ist daher in diesem Punkt nicht einzutreten.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Fürsprecher Michele Naef wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. März 2015
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Der Gerichtsschreiber: Lanz