Sachverhalt: A. A.a. Der 1965 geborene, zuletzt als Tiefbauarbeiter tätig gewesene M._ bezog gestützt auf die Verfügung der IV-Stelle Bern vom 6. Juni 2001 ab 1. August 1997 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente (nebst Zusatzrente für die Ehefrau und Kinderrenten) der Invalidenversicherung (IV). Zudem richtete ihm die Schweizerische Unfallversicherungsanstalt (SUVA) für die verbleibenden Folgen eines am 22. August 1996 erlittenen Autounfalls aus der obligatorischen Unfallversicherung (UV) nebst einer Integritätsentschädigung ab 1. April 1999 eine Invalidenrente entsprechend einer Erwerbsunfähigkeit von 100 % und eine Hilflosenentschädigung für eine Hilflosigkeit mittleren Grades aus. A.b. Im Zeitraum vom 15. September 2010 bis 4. März 2011 liess die IV-Stelle M._ im Rahmen einer Beweisaufnahme vor Ort überwachen. Gestützt auf den Observationsbericht vom 16. Mai 2011 sistierte sie zunächst mit Verfügung vom 1. Dezember 2011 die IV-Rentenzahlungen. Mit Verfügung vom 15. März 2012 eröffnete sie dem Versicherten sodann, die IV-Rente werde auf das Ende des der Verfügungszustellung folgenden Monats revisionsweise aufgehoben. Sie begründete dies damit, gemäss dem Observationsbericht und den getroffenen medizinischen Abklärungen habe sich der Gesundheitszustand derart gebessert, dass keine rentenbegründende Invalidität mehr vorliege. Mit Verfügung vom 3. Mai 2012 und Einspracheentscheid vom 17. August 2012 hob auch die SUVA die von ihr ausgerichtete Invalidenrente und Hilflosenentschädigung revisionsweise auf. B. Beschwerdeweise beantragte M._, es sei die Verfügung der IV-Stelle vom 15. März 2012 aufzuheben und weiterhin eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zum neuen Entscheid an die Verwaltung zurückzuweisen. Weiter ersuchte er darum, es sei die unentgeltliche Rechtspflege zu gewähren und der Beschwerde die aufschiebende Wirkung zuzuerkennen. In der Folge hob die IV-Stelle die Verfügung vom 15. März 2012 lite pendente auf und erliess am 2. Juli 2012 eine neue Verfügung, lautend auf Rentenaufhebung per 1. September 2010. Sie stellte dem Gericht entsprechend Antrag. Das Verwaltungsgericht des Kantons Bern kündigte dem Versicherten hierauf eine mögliche Schlechterstellung an. Dieser hielt an der Beschwerde fest. Mit Verfügung vom 13. September 2012 wies das Gericht die Gesuche betreffend unentgeltliche Rechtspflege und aufschiebende Wirkung ab. Mit Entscheid vom 6. März 2013 wies es sodann die Beschwerde ab und änderte die Verfügung vom 15. März 2012 dahin gehend ab, dass die bisherige ganze Rente per 31. August 2010 aufgehoben werde. Mit einem weiteren Entscheid vom gleichen Tag wies das Verwaltungsgericht auch die von M._ gegen den Einspracheentscheid der SUVA vom 17. August 2012 erhobene Beschwerde ab. C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei weiterhin eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zur Durchführung der beantragten Beweismassnahmen und zur neuen Beurteilung an die Vorinstanz resp. an die Verwaltung zurückzuweisen. Weiter wird um Gewährung der unentgeltlichen Rechtspflege für das Verfahren vor dem Bundesgericht ersucht. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung. Mit Eingabe vom 17. Juni 2013 lässt M._ erklären, an Beschwerde und Gesuch betreffend unentgeltliche Rechtspflege werde festgehalten. D. M._ lässt auch gegen den vorinstanzlichen Entscheid betreffend UV Beschwerde erheben. Über diese entscheidet das Bundesgericht mit heutigem Urteil im Verfahren 8C_310/2013.