Sachverhalt:
A. Nachdem seine erste Ehefrau am 29. April 2000 verstorben war, sprach die Ausgleichskasse des Kantons Bern dem 1964 geborenen S._ ab Mai 2000 eine ordentliche Witwerrente der Alters- und Hinterlassenenversicherung zu (Verfügung vom 14. Juni 2000). Im Zusammenhang mit einer Abgleichung der Zivilstandsdaten aus dem zentralen Rentenregister der AHV/IV mit denjenigen des Informatisierten Standesregisters erfuhr die Ausgleichskasse im September 2011, dass sich der Versicherte bereits am 2. April 2004 wieder verheiratet hatte. Darauf verfügte die Kasse am 27. September 2011 (sinngemäss) die rückwirkende Aufhebung der Witwerrente ab Mai 2004 und forderte gleichzeitig sämtliche unrechtmässig bezogenen Rentenbetreffnisse im Gesamtbetrag von Fr. 103'434.- von S._ zurück. Auf dessen Einsprache hin reduzierte die Ausgleichskasse den Rückerstattungsbetrag auf Fr. 70'890.-, was den ab Oktober 2006 zu Unrecht ausgerichteten Witwerrenten entspricht (Einspracheentscheid vom 22. November 2011).
B. Das Verwaltungsgericht des Kantons Bern wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 6. März 2012 ab, soweit es darauf eintrat.
C. S._ führt Beschwerde ans Bundesgericht mit dem Antrag, eine Rückerstattungspflicht sei gänzlich zu verneinen. Überdies lässt er um unentgeltliche Rechtspflege (unentgeltliche Prozessführung und Verbeiständung) im letztinstanzlichen Verfahren ersuchen.
Während die Ausgleichskasse auf Abweisung der Beschwerde schliesst, verzichten kantonales Gericht und Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. Unrechtmässig bezogene Leistungen sind zurückzuerstatten (Art. 25 Abs. 1 erster Satz ATSG [SR 830.1]). Gemäss Art. 25 Abs. 2 erster Satz ATSG erlischt der Rückforderungsanspruch mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung. Bei den genannten Fristen handelt es sich um Verwirkungsfristen (<ref-ruling> E. 4.1 S. 77 mit Hinweisen).
3. Das kantonale Gericht hat zutreffend festgestellt, dass der Anspruch des Beschwerdeführers auf die bisher bezogene Witwerrente mit dessen Wiederverheiratung vom 2. April 2004 erloschen ist (Art. 23 Abs. 4 lit. a AHVG) und die in der Folge unrechtmässig bezogenen Leistungen - unabhängig von einer Meldepflichtverletzung - grundsätzlich zurückzuerstatten sind (Art. 25 Abs. 1 erster Satz ATSG; vgl. <ref-ruling>). Nachfolgend zu prüfen ist, ob der Rückforderungsanspruch der Verwaltung verwirkt ist, weil - wie in der Beschwerde geltend gemacht - die hievor angeführte einjährige relative Verwirkungsfrist gemäss Art. 25 Abs. 2 ATSG bereits abgelaufen war, als die Ausgleichskasse ihre Rückerstattungsverfügung vom 27. September 2011 erliess. Nicht mehr im Streite liegt, dass selbst bei Verneinung dieser Frage nur die ab Oktober 2006 geleisteten Rentenbetreffnisse im Gesamtbetrag von Fr. 70'890.- zurückgefordert werden können, wogegen die von Mai 2004 bis September 2006 zu Unrecht bezogenen Witwerrenten zufolge Ablaufs der fünfjährigen absoluten Verwirkungsfrist nicht zurückzuerstatten sind.
4. 4.1 Laut bereits angeführtem (E. 2 hievor) Art. 25 Abs. 2 erster Satz ATSG verwirkt der Rückforderungsanspruch mit dem Ablauf eines Jahres, "nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat". Unter dieser Wendung ist der Zeitpunkt zu verstehen, in welchem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen (SVR 2011 BVG Nr. 25 S. 93, 9C_611/2010 E. 3; vgl. <ref-ruling> E. 1 S. 382; <ref-ruling> E. 5a S. 274; je mit Hinweisen). Ist für die Leistungsfestsetzung (oder die Rückforderung) das Zusammenwirken mehrerer mit der Durchführung der Versicherung betrauter Behörden notwendig, genügt es für den Beginn des Fristenlaufs, dass die nach der Rechtsprechung erforderliche Kenntnis bei einer der zuständigen Verwaltungsstellen vorhanden ist (<ref-ruling> E. 3a S. 433; <ref-ruling> E. 4c S. 182; ZAK 1989 S. 558, H 212/88 E. 4b in fine; Urteile 9C_534/2009 vom 4. Februar 2010 E. 3.2.2 und 9C_1057/2008 vom 4. Mai 2009 E. 4.1.2).
4.2 Die Durchführung der Alters- und Hinterlassenenversicherung erfolgt unter der Aufsicht des Bundes durch die Arbeitgeber und Arbeitnehmer, Verbandsausgleichskassen, kantonale Ausgleichskassen, Ausgleichskassen des Bundes und eine zentrale Ausgleichsstelle (Art. 49 AHVG). Gemäss Art. 61 Abs. 1 AHVG werden die kantonalen Ausgleichskassen von den Kantonen als selbständige öffentliche Anstalten errichtet. Diese unterhalten in der Regel für jede Gemeinde eine Zweigstelle; wo die Verhältnisse es rechtfertigen, kann für mehrere Gemeinden eine gemeinsame Zweigstelle errichtet werden (Art. 65 Abs. 2 AHVG). Laut Art. 116 Abs. 1 der bundesrätlichen Verordnung vom 31. Oktober 1947 über die Alters- und Hinterlassenenversicherung (AHVV; SR 831.101) haben die Gemeindezweigstellen der kantonalen Ausgleichskassen in allen Fällen u.a. folgende Aufgaben zu übernehmen: Auskunftserteilung (lit. a); Entgegennahme und Weiterleitung von Korrespondenzen (lit. b); Abgabe der Formulare und der einschlägigen Vorschriften (lit. c) sowie Mitwirkung bei der Erfassung aller Beitragspflichtigen (lit. g); den Gemeindezweigstellen können weitere Aufgaben übertragen werden.
Im Kanton Bern errichten die Einwohnergemeinden Zweigstellen der kantonalen Ausgleichskasse; mehrere Einwohnergemeinden können eine Zweigstelle gemeinsam führen (Art. 7 Abs. 1 und 2 des kantonalen Einführungsgesetzes vom 23. Juni 1993 zum AHVG [EG AHVG; BSG 841.11]). Nach Abs. 5 der letztgenannten Gesetzesbestimmung werden die Aufgaben und Befugnisse der Zweigstellen durch Verordnung des Regierungsrates geregelt. Gestützt darauf hat der Regierungsrat des Kantons Bern als weitere Aufgaben im Sinne von Art. 116 Abs. 1 in fine AHVV die Entgegennahme von Anmeldungen und Leistungsgesuchen, die Weiterleitung der überprüften Unterlagen sowie die laufende Meldung aller erheblichen Veränderungen den Gemeindezweigstellen übertragen (Art. 9 Abs. 2 in Verbindung mit Art. 10 Abs. 1 der Verordnung vom 4. November 1998 über die kantonale Ausgleichskasse und ihre Zweigstellen [AKBV; BSG 841.111]). Überdies wirken die Zweigstellen nach Art. 10 Abs. 2 AKBV u.a. mit bei der Überprüfung von Leistungsansprüchen (lit. d) und von Arbeitgebern, die nicht der Arbeitgeberkontrolle unterstehen (lit. e).
5. 5.1 Die vorliegenden (Renten-)Akten enthalten keinerlei Anhaltspunkte für den vom Beschwerdeführer erhobenen Einwand, wonach die Ausgleichskasse oder deren Zweigstelle X._ bereits vor der im September 2011 erfolgten Datenabgleichung zwischen zentralem Rentenregister und Informatisiertem Standesregister Kenntnis von der Wiederverheiratung im April 2004 gehabt hätten. Der Beschwerdeführer macht denn auch geltend, "als juristischer Laie" sei er sich "nicht bewusst" gewesen, dass er die Zivilstandsänderung den AHV-Organen hätte melden müssen, "da bisher alles durch die Behörden geregelt" worden sei. Die Wiederverheiratung sei der Zivilstandsbehörde bekannt gewesen und somit auch der AHV-Zweigstelle X._. Im Zusammenhang mit dem Down-Syndrom seines Sohnes hätten überdies periodisch Hausbesuche von IV-Abklärungspersonen stattgefunden, welche jeweils (auch) von der zweiten Ehefrau empfangen worden seien.
Soweit sich der Beschwerdeführer auf den Standpunkt stellt, das Wissen von Zivilstandsbehörde und IV-Stelle um die neuerliche Heirat sei auch den AHV-Organen zuzurechnen, kann ihm nicht gefolgt werden. Nach Art. 63 Abs. 1 lit. b und c AHVG obliegt die Festsetzung und die Auszahlung der AHV-Renten (und somit auch die Rückforderung unrechtmässig bezogener Renten) allein den Ausgleichskassen (vgl. auch die in vorstehender E. 4.2 dargelegte Zuständigkeitsregelung). Offenkundig können weder Zivilstandsbehörde noch IV-Stelle als mit der Durchführung der Alters- und Hinterlassenenversicherung betraute Behörden im Sinne der angeführten Rechtsprechung gelten (E. 4.1 hievor in fine). Die Kenntnis einer in diesem Lichte unzuständigen Verwaltungsstelle vermag die einjährige Verwirkungsfrist des Art. 25 Abs. 2 erster Satz ATSG nicht auszulösen. An dieser Betrachtungsweise ändert nichts, dass die Ausgleichskasse bei einer früheren Abgleichung des zentralen Rentenregisters mit den Daten der Zivilstandsbehörden auch entsprechend früher auf die Wiederverheiratung des Beschwerdeführers gestossen wäre. Anzumerken bleibt, dass dem Zivilstandsregister gegenüber Sozialversicherungsträgern rechtsprechungsgemäss keine (mit dem Handelsregister vergleichbare) Publizitätswirkung beizumessen ist (SVR 2002 IV Nr. 2 S. 5, I 678/00 E. 3b).
5.2 In Verdeutlichung seiner im kantonalen Verfahren vorgetragenen Sachverhaltsdarstellung macht der Beschwerdeführer letztinstanzlich geltend, dass er in den Jahren vor seiner zweiten Eheschliessung Kinderbetreuerinnen angestellt gehabt und für diese AHV-Beiträge abgerechnet habe. In der Folge seien ihm von der AHV-Zweigstelle X._ noch mehrmals entsprechende Lohnbescheinigungsformulare zugestellt worden, welche er "jeweils mit dem Vermerk 'Aufgrund Wiederverheiratung hinfällig' retourniert habe". Über diesbezügliche Unterlagen verfügt der Beschwerdeführer selber offenbar nicht (mehr); immerhin findet sich in seinen vorinstanzlich eingereichten Akten die Kopie des Lohnbescheinigungsformulars für das Jahr 2006, welches seine Unterschrift und das Datum vom 15. Oktober 2007 trägt und zudem mit dem handschriftlichen Vermerk "=> keine Personen mehr beschäftigt!" versehen wurde.
Der Frage, ob der Beschwerdeführer die (weiter nicht ausgefüllten) Formulare für die Lohnabrechnungen der Jahre 2004 und 2005 sowie allenfalls 2007 ff. tatsächlich mit einem Verweis auf seine neuerliche Eheschliessung an die zuständige AHV-Zweigstelle X._ (vgl. E. 4.2 hievor) zurückgesandt hat, ist entscheidwesentliche Bedeutung beizumessen: Art. 25 Abs. 2 erster Satz ATSG verlangt bloss, dass die Versicherungseinrichtung (hier die Ausgleichskasse) vom Rückforderungsanspruch Kenntnis erhält; auf welchem Wege dies geschieht, spielt grundsätzlich keine Rolle. So hat sich eine Ausgleichskasse das Wissen um einen zur Rentenrückforderung Anlass gebenden Sachverhalt rechtsprechungsgemäss auch dann anrechnen zu lassen, wenn ihr dieser im Zusammenhang mit der beitragsrechtlichen Erfassung des Rentenbezügers als Nichterwerbstätiger zur Kenntnis gelangte (Urteil des Eidgenössischen Versicherungsgerichts I 26/93 vom 25. Oktober 1995 E. 4d). Dies muss auch gelten, wenn die Kenntnisnahme durch die Kasse im Rahmen der Erfassung des Rentenbezügers als beitragspflichtiger Arbeitgeber erfolgt. Falls die Ausgleichskasse des Kantons Bern oder deren Gemeindezweigstelle X._ tatsächlich auf die vom Beschwerdeführer geltend gemachte Art und Weise wiederholt von der neuerlichen Heirat vom 2. April 2004 erfahren hat, wäre der Rückforderungsanspruch zufolge Ablaufs der einjährigen Verwirkungsfrist längst erloschen gewesen, als die Kasse am 27. September 2011 die Rückerstattung der unrechtmässig bezogenen Witwerrenten verfügte. Etwas anderes gilt nur für die innerhalb eines Jahres vor Erlass der Rückerstattungsverfügung ausgerichteten Rentenbetreffnisse: Der diesbezügliche Rückforderungsanspruch konnte solange nicht verwirken, als die monatlichen Renten noch gar nicht ausbezahlt waren (BGE <ref-ruling> E. 5b/bb S. 276; SVR 2012 IV Nr. 33 S. 131, 9C_363/2010 E. 3.1 und 3.2).
5.3 Die Ausgleichskasse hat in ihrer Vernehmlassung ebenso wenig wie das kantonale Gericht oder das BSV zu den letztinstanzlichen Vorbringen des Beschwerdeführers Stellung bezogen. Die Kasse hat auch davon abgesehen, die beitragsrechtlichen Akten des Beschwerdeführers nachzureichen. Im Lichte vorstehender Erwägungen ist es jedoch unabdingbar, die Frage nach der Verwirkung der Rückerstattungsforderung nicht nur auf der Grundlage der leistungsbezogenen, sondern auch der beitragsbezogenen Kassenunterlagen zu beantworten. Die Sache wird deshalb zur Einholung sämtlicher den Beschwerdeführer betreffenden Akten der Ausgleichskasse (einschliesslich derjenigen der AHV-Zweigstelle X._) und zu anschliessendem neuen Entscheid über die Rückerstattung der unrechtmässig bezogenen Witwerrenten an die Vorinstanz zurückgewiesen.
6. Ausgangsgemäss trägt die Ausgleichskasse die Gerichtskosten (Art. 66 Abs. 1 BGG); überdies hat sie dem Beschwerdeführer eine Parteientschädigung zu entrichten (Art. 68 Abs. 2 BGG; <ref-ruling> E. 7.1 S. 271; <ref-ruling> E. 6.1 S. 235). Dessen Gesuch um unentgeltliche Rechtspflege für das Verfahren vor dem Bundesgericht ist demzufolge gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Bern vom 6. März 2012 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über die Rückforderung der unrechtmässig bezogenen Witwerrente neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Dezember 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Attinger