Sachverhalt:
A.a Ab 1. März 2008 bezog die altersrentenberechtigte E._ Zusatzrenten der AHV zugunsten ihres Ehemannes L._ (1952). Mit Verfügung vom 5. November 2009, ersetzt durch Verfügung vom 11. November 2010, wurde diesem selber eine Rente der Invalidenversicherung mit Wirkung ebenfalls ab 1. März 2008 zugesprochen. Die IV-Stelle des Kantons Zürich kürzte gleichzeitig den Betrag der nachzuzahlenden Invalidenrenten um den Betrag der im Zeitraum vom 1. März 2008 bis und mit Oktober 2009 bezogenen Zusatzrenten der AHV, entsprechend einer Verrechnung von insgesamt Fr. 11'320.-.
A.b Die dagegen von L._ erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. November 2011 gut und wies die Sache an die Verwaltung zurück, damit diese prüfe, ob die angeordnete Verrechnung in das Existenzminimum eingreife, und hernach neu verfüge.
A.c Auf die dagegen vom Bundesamt für Sozialversicherungen (BSV) erhobene Beschwerde trat das Bundesgericht nicht ein (Urteil 8C_1053/2010 vom 26. Januar 2011).
A.d Am 20. Mai 2011 erliess die IV-Stelle eine neue Verfügung. In der Begründung wies sie darauf hin, dass nach der Berechnung der grossen Härte nur noch Fr. 1'341.- verrechnet würden bzw. Fr. 9'979.- an den Versicherten auszurichten seien.
B. Dagegen erhob das BSV Beschwerde, die das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. November 2011 abwies.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das BSV, der vorinstanzliche Entscheid und die Verfügung vom 20. Mai 2011 seien aufzuheben, und die IV-Stelle sei anzuweisen, die vollumfängliche Verrechnung der bezogenen Zusatzrenten mit den nachzuzahlenden Invalidenrenten anzuordnen.
Die IV-Stelle schliesst in ihrer Vernehmlassung, welche sie durch die Ausgleichskasse Berner Arbeitgeber erstellen liess, auf Gutheissung der Beschwerde. L._ trägt mit Eingabe vom 20. Februar 2012 auf Abweisung der Beschwerde an.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Unbestritten ist, dass die vom 1. März 2008 bis 31. Oktober 2009 an die Ehefrau des Versicherten (zugunsten ihres Ehemannes) ausgerichteten Zusatzrenten zu Unrecht geleistet wurden und zurückgefordert werden müssen, nachdem der Versicherte ab 1. März 2008 einen eigenen Anspruch auf eine Invalidenrente erworben hat (<ref-law>; Rz. 3219 der Wegleitung des BSV über die Renten [RWL] in der Eidg. Alters-, Hinterlassenen- und Invalidenversicherung, gültig ab 1. Januar 2003 (Stand 1. Januar 2008; http://www.bsv.admin.ch). Zu Recht unbestritten ist grundsätzlich auch, dass die Forderung auf Rückerstattung von Zusatzrenten gegenüber dem einen Ehegatten mit ausstehenden Betreffnissen einer dem anderen Ehegatten zugesprochenen Invalidenrente verrechnet werden kann, obwohl Schuldner und Gläubiger der beiden Forderungen nicht identisch sind (<ref-ruling> E. 2 S. 177; <ref-ruling>; Urteil 9C_682/2010 vom 29. April 2011 E. 3).
Umstritten und zu prüfen ist, ob die Verrechnung des Betrages von Fr. 11'320.- deshalb nicht zulässig ist, weil damit in das betreibungsrechtliche Existenzminimum des Versicherten eingegriffen wird.
3. 3.1 Die Vorinstanz stützte sich namentlich auf das Urteil 9C_365/2008 vom 17. Juni 2009, in welchem in E. 5.4 erwähnt wurde, es könne angenommen werden, dass das betreibungsrechtliche Existenzminimum durch die Verrechnung nicht tangiert werde. Daraus leitete das Sozialversicherungsgericht ab, die bundesgerichtliche Rechtsprechung erachte in solchen Fällen die Wahrung des Existenzminimums als wesentlich.
3.2 Das beschwerdeführende BSV beruft sich namentlich auf <ref-ruling> und das Urteil 9C_1015/2010 vom 12. April 2011, in: SVR 2011 IV Nr. 70 S. 210 sowie Rz. 10922 RWL. Dabei macht es geltend, dass im vorliegenden Fall eine Verrechnung der Rentennachzahlung zulässig sei, da es um eine Frage der Rentenkoordination gehe. Nur wenn die kompensatorische Verrechnung gemäss <ref-law> zugelassen werde, sei eine rechtsgleiche Handhabung gewährleistet, weil ansonsten der zeitliche Faktor (verspätete Anmeldungen, Verzögerungen bei der Rentenberechnung) zu rein zufälligen und stossenden Doppelbezügen führen würde.
4. 4.1 Aus dem Urteil 9C_365/2008 kann entgegen der Vorinstanz nicht abgeleitet werden, dass nach der bundesgerichtlichen Rechtsprechung in Fällen, da Rentennachzahlungen mit früheren Leistungen verrechnet werden, das Existenzminimum einzuhalten ist. Da in jenem Verfahren aufgrund der Akten keine Anhaltspunkte für eine mögliche Verletzung des Existenzminimums bestanden und die Beschwerdeführerin auch nichts dergleichen geltend gemacht hatte, musste die Frage zum Vornherein nicht geprüft werden. Im Übrigen erging das Urteil nicht als Grundsatzentscheid (<ref-law>).
4.2 Das ATSG (SR 830.1) enthält keine allgemeine Verrechnungsnorm (vgl. aber <ref-law>). <ref-law> (in der seit 1. Januar 2003 in Kraft stehenden Fassung) verweist für die Verrechnung auf <ref-law>, welche Bestimmung somit in der Invalidenversicherung sinngemäss Anwendung findet. Damit statuiert <ref-law> eine allgemeine Verrechenbarkeit von Beitragsforderungen, Leistungen und Leistungsrückforderungen der AHV und der IV (ULRICH MEYER, Bundesgesetz über die Invalidenversicherung, 2. Aufl. 2010, S. 453). Die zweigintern und zweigübergreifend zulässige Verrechnung von Leistungen und Forderungen kann sich sowohl auf laufende Renten als auch auf Rentennachzahlungen beziehen (<ref-ruling> E. 4.1 S. 288). Sie darf indessen den nach betreibungsrechtlichen Regeln zu ermittelnden Notbedarf der versicherten Person nicht beeinträchtigen (<ref-ruling> E. 6.1 S. 291; <ref-ruling> E. 1.2 S. 252). Dabei stellt sich nach der Rechtsprechung die Frage der Zulässigkeit der Verrechnung unter dem Gesichtspunkt der Wahrung des betreibungsrechtlichen Existenzminimums nicht nur bei einer laufenden, monatlich ausgerichteten Rente, sondern auch bei Rentennachzahlungen, weil auch diese zum Zweck haben, den Existenzbedarf der versicherten Person zu decken (Art. 34quater Abs. 2 Satz 3 aBV; <ref-law>), und zwar in jener Zeitspanne, für welche sie nachbezahlt werden (<ref-ruling> E. 6.2 S. 291; Urteil des Eidg. Versicherungsgerichts I 305/03 vom 15. Februar 2005 E. 4; vgl. auch Urteil I 141/05 vom 20. September 2006 E. 5.3.1; kritisch dazu: FRANZ SCHLAURI, Die zweigübergreifende Verrechnung und weitere Instrumente der Vollstreckungskoordination des Sozialversicherungsrechts, in: Sozialversicherungsrechtstagung 2004, S. 137 ff., 150 f.). Begründet wurde diese Praxis teilweise damit, dass es die Verwaltung sonst in der Hand hätte, durch Zuwarten mit dem Erlass der Rentenverfügung die Verrechnungsschranke zu umgehen (bereits erwähntes Urteil I 141/05 E. 5.3.1 mit Hinweis auf das Urteil des Eidg. Versicherungsgerichts H 153/85 vom 29. April 1986).
4.3 Diese Rechtsprechung wurde mit den beiden vom beschwerdeführenden BSV zitierten Urteilen des Bundesgerichts bestätigt. Im bereits erwähnten Urteil 9C_1015/2010 E. 3.4 wurde die Verrechnung einer Rentennachzahlung verweigert für einen früheren Zeitraum, in welchem der Versicherte mangels Unterstützung durch die Sozialbehörde unter dem betreibungsrechtlichen Existenzminimum gelebt hatte. Das Bundesgericht lehnte eine Änderung der Rechtsprechung ab, wonach bei Rentennachzahlungen die Zulässigkeit einer Verrechnung generell nicht mehr unter dem Gesichtspunkt der Wahrung des Existenzminimums zu prüfen gewesen wäre und verwies namentlich auf den bereits im Urteil I 141/05 hervorgehobenen Gesichtspunkt, dass es die Verwaltung sonst in der Hand hätte, durch Zuwarten mit dem Erlass der Rentenverfügung die Verrechnungsschranke zu umgehen. In <ref-ruling> (E. 7 f.) wurde sodann die Verrechnung von Rentennachzahlungen mit Schadenersatzforderungen nach <ref-law> zugelassen, weil die Sozialbehörde für den Zeitraum, für den die Renten nachbezahlt wurden, Vorschussleistungen erbracht hatte. Könnte sich die versicherte Person in einem solchen Fall auf das Existenzminimum berufen und die Auszahlung der Rentennachzahlung an sich selbst verlangen, käme sie zweimal in den Genuss von Leistungen, was nicht angehe (E. 8.1).
Damit ergibt sich aus beiden Urteilen, dass das Verrechnungsverbot dann nicht gilt, wenn das Existenzminimum während der fraglichen Zeitspanne durch Leistungen der Sozialhilfe gewährleistet war, und dass die Beachtung der Verrechnungsschranke bei Nachzahlungen vor allem sicherstellen soll, dass es nicht zufolge zeitlicher Verschiebungen von Zahlungen zu ungerechtfertigten Nachteilen für den Versicherten kommt.
4.4 Die Frage der Verrechnung kann sich stellen gegenüber Beitragsforderungen, Leistungen und Leistungsrückforderungen (vgl. E. 4.1 hievor). Im Hinblick auf die Verrechnung von Nachzahlungen ist von Bedeutung, ob diese mit offenen Beitragsforderungen oder mit Leistungsrückforderungen erfolgen soll. Im ersten Fall entstand die Verrechnungsforderung, weil der Versicherte seine Verpflichtungen gegenüber dem Sozialversicherer nicht erfüllte; im zweiten Fall, weil ein Sozialversicherer Leistungen erbrachte, deren Rechtsgrund nachträglich entfiel.
Die Frage der Wahrung des betreibungsrechtlichen Existenzminimums kann sich nur in ersterem Fall stellen. Entsprechend ging es auch in den Urteilen 9C_1015/2010 und I 141/05 darum, dass Rentennachzahlungen mit ausstehenden Beiträgen verrechnet werden sollten. Da im relevanten Zeitraum, für welchen die Nachzahlung erfolgen sollte, keine anderen Leistungen geflossen waren, war in diesen Fällen zu prüfen, ob das Nicht-Erreichen des Existenzminimums der Verrechnung entgegengehalten werden kann.
Die Situation ist jedoch eine andere, wenn im fraglichen Zeitraum Leistungen erbracht wurden, deren Rechtsgrund nachträglich entfällt. Hier wird nur eine Bedarfsleistung durch eine andere ersetzt. Das Bundesgericht hat in BGE <ref-ruling> zum rechtlichen Verhältnis zwischen der vorerst einem Ehepartner zugesprochenen Zusatzrente und der später zugunsten des andern Ehepartners verfügten Invalidenrente festgehalten, der Anspruch des einen Ehepartners auf eine Zusatzrente für den andern sei von der Bedingung abhängig, dass jener keinen eigenen Anspruch auf eine Rente habe. Die beiden zur Diskussion stehenden Leistungen schlössen sich somit gegenseitig aus (E. 2.6). Das bedeute, dass die Verrechnung zuzulassen sei. In E. 2.9 des französischsprachigen Urteils führte das Bundesgericht aus (vgl. Übersetzung in: Pra 2005 Nr. 153 S. 1038):
Das Gegenteil zuzulassen, könnte eine wirksame Rechtsanwendung verhindern, wenn die Höhe der Leistungen an einen Ehegatten zufolge des Eintrittes eines zweiten Versicherungsfalles beim Ehepaar überprüft werden muss. Das Rückerstattungsbegehren gegenüber dem Leistungsberechtigten würde sich bei Erlass der Rückerstattung als undurchführbar erweisen. Ein solcher Erlass müsste häufig erfolgen, weil die Voraussetzung des guten Glaubens immer erfüllt und dann allein noch die Frage der grossen Härte zu prüfen wäre (<ref-law> und <ref-law> [SR 830.11]; aArt. 47 Abs. 1 AHVG). In zahlreichen Fällen wird die Bedingung der grossen Härte erfüllt sein, was schliesslich unvermeidbar zu einer ungerechtfertigten Leistungskumulation führen würde, obwohl das Gesetz korrekt angewendet wird. Diese unvermeidliche Konsequenz ergäbe sich ihrerseits daraus, dass Entscheide, die in einem gegenseitigen Bezug zueinander stehen, zwangsläufig in zeitlicher Hinsicht etwas auseinanderliegen.
Auch wenn es in diesem Urteil um die Begründung der Verrechenbarkeit von Forderungen ging, deren Schuldner und Gläubiger nicht identisch sind, und sich die obigen Ausführungen auf den Erlass bezogen, folgt daraus doch, dass entscheidender Gesichtspunkt die Verhinderung einer ungerechtfertigten Kumulation von zwei sich grundsätzlich gegenseitig ausschliessenden Leistungen als Folge des zeitlichen Auseinanderfallens der Zusprache ist, und die finanzielle Situation des Versicherten nicht dazu führen kann, diese Leistungskumulation trotzdem zuzulassen. Im gleichen Sinn hat das Bundesgericht in früheren Urteilen auch die Berufung auf den Härtefall nach aArt. 47 Abs. 1 AHVG ausgeschlossen, wenn es darum gehe, dem Versicherten bereits ausbezahlte Leistungen durch gleich hohe unter anderem Titel geschuldete zu ersetzen und die beiden Betreffnisse miteinander zu verrechnen (<ref-ruling> E. 5c S. 226; ZAK 1977 S. 195 f. E. 3). Was für die Härtefallprüfung im Rückforderungsrecht gilt, nämlich dass Vermögen und Einkommen keine Veränderung erfahren, ist auch hinsichtlich der Existenzminimumsschranke bei der Verrechnung zu berücksichtigen (SCHLAURI, a.a.O., S. 152).
4.5 Die Verrechnung ist hier somit zulässig, ohne dass dem die Einhaltung des betreibungsrechtlichen Existenzminimums entgegengehalten werden kann. Dies entspricht auch dem oben in E. 4.2 dargelegten grundsätzlichen Ziel, dass Rechtswirkungen nicht lediglich aus der zeitlichen Verschiebung von Zahlungen resultieren sollen. Ebenso wenig wie die Beachtung der Verrechnungsschranke bei Nachzahlungen sicherstellen soll, dass es nicht zufolge zeitlicher Verschiebungen von Zahlungen zu ungerechtfertigten Nachteilen für den Versicherten kommt, soll die zeitliche Verschiebung zu vom Gesetz grundsätzlich ausgeschlossenen Leistungskumulationen führen.
5. Die Beschwerde ist somit gutzuheissen. Das Verfahren ist kostenpflichtig (<ref-law>). Dem Ausgang des Prozesses entsprechend hat der Beschwerdegegner 1 die Gerichtskosten zu tragen (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. November 2011 und die Verfügung der IV-Stelle des Kantons Zürich vom 20. Mai 2011 werden aufgehoben und die IV-Stelle wird angewiesen, die Verrechnung im Sinne der Erwägungen vorzunehmen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner 1 auferlegt.
3. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Zürich, dem Sozialversicherungsgericht des Kantons Zürich und der Ausgleichskasse Berner Arbeitgeber schriftlich mitgeteilt.
Luzern, 17. September 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Hofer