Sachverhalt: A. Nachdem seine erste Ehefrau am 29. April 2000 verstorben war, sprach die Ausgleichskasse des Kantons Bern dem 1964 geborenen S._ ab Mai 2000 eine ordentliche Witwerrente der Alters- und Hinterlassenenversicherung zu (Verfügung vom 14. Juni 2000). Im Zusammenhang mit einer Abgleichung der Zivilstandsdaten aus dem zentralen Rentenregister der AHV/IV mit denjenigen des Informatisierten Standesregisters erfuhr die Ausgleichskasse im September 2011, dass sich der Versicherte bereits am 2. April 2004 wieder verheiratet hatte. Darauf verfügte die Kasse am 27. September 2011 (sinngemäss) die rückwirkende Aufhebung der Witwerrente ab Mai 2004 und forderte gleichzeitig sämtliche unrechtmässig bezogenen Rentenbetreffnisse im Gesamtbetrag von Fr. 103'434.- von S._ zurück. Auf dessen Einsprache hin reduzierte die Ausgleichskasse den Rückerstattungsbetrag auf Fr. 70'890.-, was den ab Oktober 2006 zu Unrecht ausgerichteten Witwerrenten entspricht (Einspracheentscheid vom 22. November 2011). B. Das Verwaltungsgericht des Kantons Bern wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 6. März 2012 ab, soweit es darauf eintrat. C. S._ führt Beschwerde ans Bundesgericht mit dem Antrag, eine Rückerstattungspflicht sei gänzlich zu verneinen. Überdies lässt er um unentgeltliche Rechtspflege (unentgeltliche Prozessführung und Verbeiständung) im letztinstanzlichen Verfahren ersuchen. Während die Ausgleichskasse auf Abweisung der Beschwerde schliesst, verzichten kantonales Gericht und Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.