Sachverhalt:
A. Dem seit 10. Januar 1995 verwitweten M._ wurde ab Januar 1997 eine ordentliche Witwerrente der Alters- und Hinterlassenenversicherung ausgerichtet, nachdem diese Leistung im Rahmen der 10. AHV-Revision neu eingeführt worden war (Verfügung der Ausgleichskasse des Kantons Zürich vom 13. Juni 1997 [nachfolgend: Ausgleichskasse]). Im Februar 2009 teilte die Gemeindeverwaltung X._ den AHV-Behörden mit, dass sich der Versicherte bereits am 15. Juni 2001 wieder verheiratet hatte. Daraufhin verfügte die Ausgleichskasse am 14. April 2009 die rückwirkende Aufhebung der Witwerrente ab Juli 2001 und forderte gleichzeitig die unrechtmässig bezogenen Rentenbetreffnisse ab Mai 2004 im Gesamtbetrag von Fr. 20'192.- von M._ zurück. Dieser stellte am 19. April 2009 ein Gesuch um Erlass der Rückforderung. Er verwies auf die Kopie eines vom 7. Februar 2002 datierten Schreibens an die Ausgleichskasse, worin die Wiederverheiratung angezeigt wird. Mit Verfügung vom 25. Januar 2010 und Einspracheentscheid vom 28. Juni 2010 lehnte die Kasse das Erlassgesuch mangels guten Glaubens beim Bezug der zu Unrecht ausgerichteten Witwerrente ab. Weder sei das geltend gemachte Schreiben vom 7. Februar 2002 bei der Ausgleichskasse aktenkundig, noch habe M._ einen diesbezüglichen Versandnachweis vorgelegt, weshalb von einer (zumindest) grobfahrlässigen Verletzung der Meldepflicht auszugehen sei.
B. Das Sozialversicherungsgericht des Kantons Zürich hiess die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 2. November 2011 gut, bejahte den guten Glauben und wies die Sache zur Prüfung der weiteren Erlassvoraussetzung der grossen Härte an die Ausgleichskasse zurück.
C. Die Ausgleichskasse führt Beschwerde ans Bundesgericht mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheids.
M._ schliesst sinngemäss auf Abweisung der Beschwerde. Kantonales Gericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Weil die Ausgleichskasse - bei Bejahung der grossen (wirtschaftlichen) Härte - zufolge des kantonalen Rückweisungsentscheids gezwungen wäre, eine ihres Erachtens rechtswidrige Verfügung zu treffen (Erlass der Rückforderung), hat der vorinstanzliche (Zwischen-)Entscheid für sie rechtsprechungsgemäss einen nicht wiedergutzumachenden Nachteil im Sinne von <ref-law> zur Folge und ist deshalb seitens der Verwaltung selbständig anfechtbar (<ref-ruling>; BGE 8C_190/2011 vom 13. Februar 2012 E. 3 und 8C_312/2010 vom 15. Dezember 2011 E. 1).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
3. Unter den Verfahrensbeteiligten ist zu Recht unbestritten, dass der Anspruch des Beschwerdegegners auf die bisher bezogene Witwerrente mit dessen Wiederverheiratung vom 15. Juni 2001 erloschen ist (<ref-law>). Mit rechtskräftiger Verfügung vom 14. April 2009 hat denn auch die Ausgleichskasse die Rückerstattung der noch nicht verwirkten (Art. 25 Abs. 2 erster Satz ATSG [SR 830.1]), ab 1. Mai 2004 unrechtmässig bezogenen Rentenbetreffnisse angeordnet (Abs. 1 erster Satz der genannten Gesetzesbestimmung). Streitig und nachfolgend zu prüfen ist, ob diese Rückforderung über Fr. 20'192.- zu erlassen ist.
4. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt (Art. 25 Abs. 1 zweiter Satz ATSG; vgl. auch Art. 4 Abs. 1 der Verordnung vom 11. September 2002 über den Allgemeinen Teil des Sozialversicherungsrechts [ATSV; SR 830.11]). Wie das kantonale Gericht zutreffend dargelegt hat, ist der gute Glaube als Erlassvoraussetzung nicht schon mit der Unkenntnis des Rechtsmangels gegeben. Der Leistungsempfänger darf sich vielmehr nicht nur keiner böswilligen Absicht, sondern auch keiner groben Nachlässigkeit schuldig gemacht haben. Der gute Glaube entfällt somit einerseits von vornherein, wenn die zu Unrecht erfolgte Leistungsausrichtung auf eine arglistige oder grobfahrlässige Melde- oder Auskunftspflichtverletzung zurückzuführen ist. Anderseits kann sich die rückerstattungspflichtige Person auf den guten Glauben berufen, wenn ihr fehlerhaftes Verhalten nur leicht fahrlässig war (<ref-ruling> E. 2c S. 103). Wie in anderen Bereichen beurteilt sich das Mass der erforderlichen Sorgfalt nach einem objektiven Massstab, wobei aber das den Betroffenen in ihrer Subjektivität Mögliche und Zumutbare (Urteilsfähigkeit, Gesundheitszustand, Bildungsgrad usw.) nicht ausgeblendet werden darf (SVR 2008 AHV Nr. 13 S. 41, 9C_14/2007 E. 4.1 mit Hinweis).
5. Dass der Beschwerdegegner nach <ref-law> und Art. 70bis Abs. 1 der Verordnung vom 31. Oktober 1947 über die Alters- und Hinterlassenenversicherung (AHVV; SR 831.101) verpflichtet war, die Änderung im Zivilstand vom 15. Juni 2001 zu melden, steht ausser Frage (vgl. auch den diesbezüglichen Hinweis in der Rentenverfügung vom 13. Juni 1997). Er macht denn auch geltend, er sei - auf Veranlassung seines Steuerberaters - der ihm obliegenden Meldepflicht mit Schreiben an die Ausgleichskasse vom 7. Februar 2002 nachgekommen. Eine entsprechende Mitteilung findet sich indessen im von der Kasse geführten Aktendossier des Versicherten nicht. Ebenso wenig vermag der Beschwerdegegner einen Versandnachweis für die geltend gemachte uneingeschriebene Postsendung vorzulegen.
6. Der Sozialversicherungsprozess ist vom Untersuchungsgrundsatz beherrscht. Danach hat das Gericht von Amtes wegen für die richtige und vollständige Feststellung des rechtserheblichen Sachverhaltes zu sorgen. Die Verwaltung als verfügende Instanz und - im Beschwerdefall - das Gericht dürfen eine Tatsache nur dann als bewiesen annehmen, wenn sie von ihrem Bestehen überzeugt sind. Im Sozialversicherungsrecht hat das Gericht seinen Entscheid, sofern das Gesetz nicht etwas Abweichendes vorsieht, nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit zu fällen. Die blosse Möglichkeit eines bestimmten Sachverhalts genügt den Beweisanforderungen nicht. Der Richter und die Richterin haben vielmehr jener Sachverhaltsdarstellung zu folgen, die sie von allen möglichen Geschehensabläufen als die wahrscheinlichste würdigen (<ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195; je mit Hinweisen; vgl. <ref-ruling> E. 3.2 und 3.3 S. 324 f.; SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 10).
Der Untersuchungsgrundsatz schliesst die Beweislast im Sinne der Beweisführungslast begriffsnotwendig aus, da es Sache des Sozialversicherungsgerichts (oder der verfügenden Verwaltungsstelle) ist, für die Zusammentragung des Beweismaterials besorgt zu sein. Im Sozialversicherungsprozess tragen mithin die Parteien in der Regel eine Beweislast nur insofern, als im Falle der Beweislosigkeit der Entscheid zu Ungunsten jener Partei ausfällt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollte. Diese Beweisregel greift allerdings erst Platz, wenn es sich als unmöglich erweist, im Rahmen des Untersuchungsgrundsatzes aufgrund einer Beweiswürdigung einen Sachverhalt zu ermitteln, der zumindest die Wahrscheinlichkeit für sich hat, der Wirklichkeit zu entsprechen (<ref-ruling> E. 3b S. 264 mit Hinweisen; Urteil 8C_663/2009 vom 27. April 2010 E. 2.2).
7. Angesichts der geschilderten Aktenlage (vorstehende E. 5 in fine) hat die Vorinstanz festgestellt, es sei einerseits möglich, dass der Beschwerdegegner mittels geltend gemachtem (in Kopie vorgelegtem) Schreiben vom 7. Februar 2002 seiner Meldepflicht tatsächlich nachgekommen sei. Anderseits sei es jedoch ebenso möglich, dass das genannte Schreiben nicht zum Zeitpunkt des angegebenen Datums erstellt, nie versandt, bei der Ausgleichskasse nicht angekommen oder aber bei ihr in Verstoss geraten sei. Keiner dieser möglichen Tatbestände sei zum heutigen Zeitpunkt mit geeigneten Beweismitteln rechtsgenüglich zu erhärten oder könne für sich beanspruchen, überwiegend wahrscheinlich zu sein. Diese vorinstanzliche Schlussfolgerung, wonach hinsichtlich einer Meldung der erneuten Eheschliessung Beweislosigkeit herrsche, ist für das Bundesgericht verbindlich (E. 2 hievor). Gemäss dargelegter Rechtsprechung müsste mithin der Entscheid zu Ungunsten des Beschwerdegegners ausfallen, weil dieser seine Gutgläubigkeit beim unrechtmässigen Weiterbezug der Witwerrente auf die streitige, unbewiesen gebliebene Meldung an die Ausgleichskasse stützt. Das kantonale Gericht gelangt indessen zu einem andern Ergebnis: Aufgrund verschiedener, im angefochtenen Entscheid dargelegter Umstände schliesst es auf eine unvollständige Aktenführung durch die Ausgleichskasse und leitet daraus letztlich eine Umkehr der Beweislast ab. Im Folgenden ist deshalb zu prüfen, was es mit dieser vorinstanzlichen Betrachtungsweise auf sich hat.
8.1 8.1.1 Das Bundesgericht hat verschiedentlich festgehalten, dass eine Umkehr der Beweislast ausnahmsweise dann eintritt, wenn eine Partei einen Beweis aus Gründen nicht erbringen kann, welche nicht von ihr, sondern von der Behörde zu verantworten sind (<ref-ruling> E. 3 S. 257; SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 12; Pra 1999 Nr. 170 S. 886, 2A.635/1998 E. 3b/bb; Urteil 4P.197/2003 vom 16. Januar 2004 E. 3.2). Einen derartigen Fall von Beweislastumkehr erblickt die Rechtsprechung etwa bei der Beweislosigkeit der Rechtzeitigkeit eines Rechtsmittels, welche darauf zurückzuführen ist, dass die Verwaltung oder Behörde den Briefumschlag, in welchem das an sie gerichtete Rechtsmittel (uneingeschrieben) verschickt wurde, in Verletzung ihrer Aktenführungspflicht nicht zu den Akten genommen und damit die Beweiserbringung für die Rechtzeitigkeit des Rechtsmittels verunmöglicht hat (<ref-ruling> E. 3b S. 375; SVR 2011 UV Nr. 11 S. 39, 8C_693/2010 E. 12; 2007 AHV Nr. 8 S. 22, H 131/06 E. 3.2; Pra 1999 Nr. 170 S. 886, 2A.635/1998 E. 4; RKUV 1999 Nr. U 344 S. 416, U 344/98 E. 2 und 3).
8.1.2 Die erwähnte Aktenführungspflicht von Verwaltung und Behörden bildet das Gegenstück zum (aus <ref-law> fliessenden) Akteneinsichts- und Beweisführungsrecht, indem die Wahrnehmung des Akteneinsichtsrechts durch die versicherte Person eine Aktenführungspflicht der Verwaltung voraussetzt (<ref-ruling> E. 4.1 S. 477; <ref-ruling> E. 3b S. 375 f., 389 E. 3a S. 390). Die Behörde ist verpflichtet, ein vollständiges Aktendossier über das Verfahren zu führen, um gegebenenfalls ordnungsgemäss Akteneinsicht gewähren und bei einem Weiterzug diese Unterlagen an die Rechtsmittelinstanz weiterleiten zu können. Die Behörde hat alles in den Akten festzuhalten, was zur Sache gehört (<ref-ruling> E. 3b S. 376; <ref-ruling> E. 4c S. 99; Pra 1999 Nr. 170 S. 886, 2A.635/1998 E. 4a). Der verfassungsmässige Anspruch auf eine geordnete und übersichtliche Aktenführung verpflichtet die Behörden und Gerichte, die Vollständigkeit der im Verfahren eingebrachten und erstellten Akten sicherzustellen (SVR 2011 IV Nr. 44 S. 131, 8C_319/2010 E. 2.2.1; Urteil 5A_341/2009 vom 30. Juni 2009 E. 5.2). Für die dem Allgemeinen Teil des Sozialversicherungsrechts unterstellten Versicherer wurde in <ref-law> die Aktenführungspflicht auf Gesetzesstufe konkretisiert. Danach sind für jedes Sozialversicherungsverfahren alle Unterlagen, die massgeblich sein können, vom Versicherungsträger systematisch zu erfassen.
8.2 Nach vorinstanzlicher Auffassung kann die Ausgleichskasse "keinen Anspruch auf vollständige Aktenführung erheben", weil bei Durchsicht der Kassenakten aufgefallen sei, dass die sog. Rentensteuerausweise betreffend die Waisenrente für den 1992 geborenen Sohn des Beschwerdegegners bis auf diejenigen für die Jahre 2001 und 2009 fehlten. Ebenso wenig seien Belege für die periodischen Erhöhungen der Waisenrente vorhanden, während hinsichtlich der Witwerrente lediglich die Erhöhungsblätter für 2005 und 2007 in den Akten lägen. Auffallend sei schliesslich, dass das Aktendossier des Beschwerdegegners unter der Bezeichnung "Firma Y._" geführt werde.
Die Ausgleichskasse wehrt sich in ihrer Beschwerde ans Bundesgericht gegen den vorinstanzlichen Vorwurf nicht ordnungsgemässer Aktenführung. Ihre Einwendungen sind zu hören, weil erst der angefochtene Entscheid dazu Anlass gab (<ref-law>). Zuvor wurde nämlich von keiner Seite geltend gemacht, die Art der Aktenführung durch die Kasse habe dem Beschwerdegegner die Beweisführung verunmöglicht.
Die Beschwerdeführerin trägt vor, dass die Rentensteuerausweise für die Waisenrente keineswegs fehlten, sondern grundsätzlich im Aktendossier des Sohnes des Beschwerdegegners gespeichert würden, wobei nicht mehr eruiert werden könne, weshalb sich dennoch zwei dieser Ausweise (für die Jahre 2001 und 2009) im Dossier des Vaters befänden. Weiter führt die Kasse aus, dass sich die Beträge der in der Regel alle zwei Jahre der Lohn- und Preisentwicklung angepassten Renten den jeweiligen (für den Beschwerdegegner und dessen Sohn getrennt angelegten) sog. Historienblättern entnehmen liessen, welche vom elektronischen System automatisch per Ende Jahr oder bei einer manuellen Änderung erstellt würden (und alle lückenlos vorlägen). Weshalb die entsprechenden Rentenerhöhungsblätter nicht ebenfalls vollständig im elektronischen Archiv abgespeichert worden seien, lasse sich nicht nachvollziehen. Zur Aktenführung unter der Bezeichnung "Firma Y._" wendet die Ausgleichskasse ein, dass der Beschwerdegegner sowohl unter seiner neuen als auch unter der alten AHV-Nummer sowie zusätzlich unter der Abrechnungsnummer seiner Arbeitgeberin erfasst sei. Aus systemimmanenten Gründen übersteuere die letztgenannte Nummer die beiden andern, weshalb das Dossierdeckblatt mit der Kundenbezeichnung "Firma Y._" überschrieben werde, was sich jeweils nur manuell korrigieren lasse.
8.3 Im Lichte vorstehender, von keiner Seite in Zweifel gezogenen Darlegung der Ausgleichskasse ist die vorinstanzliche Annahme, in den elektronisch verwalteten Unterlagen des Beschwerdegegners und seines Sohnes würden bestimmte massgebende, von der Kasse selbst zu verfertigende Belege gänzlich fehlen, offensichtlich unrichtig und ist demzufolge vom Bundesgericht zu korrigieren. Wohl sind zwei Kopien der dem Beschwerdegegner zuhanden der Steuerbehörden ausgestellten Rentensteuerausweise fälschlicherweise nicht im zutreffenden Dossier des Sohnes als Waisenrentenberechtigtem, sondern in demjenigen des Vaters abgelegt worden. Ferner werden die periodischen Anpassungen der Hinterlassenenrenten an die Lohn- und Preisentwicklung nur (aber immerhin) durch die jeweiligen Historienblätter lückenlos belegt, wogegen zusätzliche Rentenerhöhungsblätter im elektronischen Archiv nur zum Teil abgespeichert wurden. Diese geringfügigen Unzulänglichkeiten bei der Dossierverwaltung und das erwähnte Programmierungsproblem im Zusammenhang mit der Dossieranschrift rechtfertigen indessen keineswegs die vorinstanzliche - als Rechtsfrage frei überprüfbare - Schlussfolgerung, wonach die Ausgleichskasse der ihr obliegenden Aktenführungspflicht im Falle des Beschwerdegegners nicht ordnungsgemäss und vollständig nachgekommen sei und deshalb mit Bezug auf die in den Unterlagen fehlende Anzeige der Wiederverheiratung eine Umkehr der Beweislast eintrete. Bei den vorliegenden Gegebenheiten anders zu entscheiden hiesse, weit überhöhte Anforderungen an die Aktenführungspflicht der Versicherungsträger zu stellen.
9. Trägt nach dem Gesagten der Beschwerdegegner die Beweislast, wirkt sich die Beweislosigkeit der von ihm geltend gemachten Mitteilung vom 7. Februar 2002 zu seinen Ungunsten aus: Es ist davon auszugehen, dass er seiner Meldepflicht hinsichtlich der neuerlichen Heirat nicht nachgekommen ist, obwohl ihn sein Steuerberater zur Mitteilung an die AHV-Behörden aufgefordert hat (vgl. E. 5 hievor). Unter diesen Umständen muss eine zumindest grobfahrlässige Meldepflichtverletzung angenommen werden, welche den guten Glauben als Erlassvoraussetzung von vornherein ausschliesst (in vorstehender E. 4 wiedergegebene Rechtsprechung). Entgegen der Auffassung des kantonalen Gerichts könnte auch nicht als bloss leichte Fahrlässigkeit gewertet werden, wenn der Beschwerdegegner das geltend gemachte Schreiben vom 7. Februar 2002 zwar verfasst, versehentlich aber gar nicht der Post übergeben oder an eine falsche Adresse versandt hätte (obwohl die eingereichte Kopie des fraglichen Schreibens selber die zutreffende Anschrift der Ausgleichskasse trägt).
10. Im Übrigen änderte sich an diesem Ergebnis selbst dann nichts, wenn der Brief vom 7. Februar 2002 seine bestimmungsgemässe Empfängerin gefunden haben sollte, d.h. wenn der Meldepflicht hinsichtlich der Zivilstandsänderung seinerzeit nachgelebt worden wäre: Man kann als wiederum Verheirateter nicht gutgläubig über Jahre hinweg weiterhin eine Witwerrente beziehen, ohne bei der Ausgleichskasse je nachgefragt zu haben, ob die Anzeige der neuerlichen Eheschliessung eingegangen und die Weiterausrichtung der Rente tatsächlich rechtens sei. Für jedermann ist nämlich einsichtig, dass der neue Zivilstand den alten ersetzt, an welchen der Bezug der Witwerrente, allein schon dem Namen nach, gebunden war (vgl. RDAT 1999 I Nr. 70 S. 275, H 183/98 E. 4a). Es verhält sich nicht wesentlich anders als bei der auch nach dem Tod des Ehemannes (und der damit verbundenen Erhöhung des AHV-Rentenanspruchs) unverändert ausgerichteten Ergänzungsleistung (EL). In diesem Zusammenhang hat die Rechtsprechung den guten Glauben der nunmehr verwitweten Ehefrau beim unrechtmässigen Bezug der zu hohen EL-Betreffnisse ebenfalls verneint (Urteil des Eidgenössischen Versicherungsgerichts P 18/75 vom 30. August 1976 E. 3, nicht publ. in: <ref-ruling>).
11. Fällt bereits der gute Glaube ausser Betracht, braucht das weitere Erlasserfordernis der grossen wirtschaftlichen Härte nicht geprüft zu werden. Dies führt zur Aufhebung des vorinstanzlichen Rückweisungsentscheids. Es muss mit der von der Ausgleichskasse verfügten Ablehnung des Erlassgesuchs sein Bewenden haben.
12. Umständehalber werden keine Gerichtskosten erhoben (Art. 66 Abs. 1 zweiter Satz BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 2. November 2011 wird aufgehoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. April 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Attinger