Sachverhalt: A. Der 1965 geborene, zuletzt als Tiefbauarbeiter tätig gewesene M._ bezog gestützt auf die Verfügung der IV-Stelle Bern vom 6. Juni 2001 ab 1. August 1997 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente (nebst Zusatzrente für die Ehefrau und Kinderrenten) der Invalidenversicherung. Nach Durchführung einer Observation stellte die IV-Stelle dem Versicherten mit Vorbescheid vom 19. Januar 2012 in Aussicht, die Rente rückwirkend per 1. September 2010 aufzuheben. Am 15. März 2012 verfügte die Verwaltung, die Rente werde auf das Ende des der Verfügungszustellung folgenden Monats aufgehoben. Der Versicherte erhob dagegen Beschwerde. In der Folge verfügte die IV-Stelle am 2. Juli 2012 lite pendente, in Aufhebung der Verfügung vom 15. März 2012 werde die Rente per 1. September 2010 aufgehoben. Mit Entscheid vom 6. März 2013 wies das Verwaltungsgericht des Kantons Bern die Beschwerde ab. Es änderte dabei die Verwaltungsverfügung vom 15. März 2012 dahin gehend ab, dass die Rente per 31. August 2010 aufgehoben werde. Das wurde letztinstanzlich mit Entscheid des Bundesgerichts 8C_309/2013 vom 19. August 2013 bestätigt. Mit zwei Verfügungen vom 24. September 2013 verlangte die IV-Stelle von M._ die Rückerstattung demnach zu viel ausbezahlter Rentenleistungen von Fr. 62'090.- für den Zeitraum von September 2010 bis Februar 2012 und von Fr. 6542.- für den Zeitraum von März bis April 2012. B. Beschwerdeweise beantragte M._, die Rückerstattungsverfügungen seien aufzuheben und es sei festzustellen, dass kein Rückforderungsanspruch bestehe. Das Verwaltungsgericht gewährte ihm die unentgeltliche Rechtspflege, trat auf das Feststellungsbegehren nicht ein und wies die Beschwerde im Übrigen ab (Entscheid vom 2. Juli 2014). C. M._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, die Rückerstattungsverfügungen und der kantonale Entscheid vom 2. Juli 2014 seien infolge Verwirkung des Rückforderungsanspruchs aufzuheben. Weiter ersucht er um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wird nicht durchgeführt.