Sachverhalt: A.a Ab 1. März 2008 bezog die altersrentenberechtigte E._ Zusatzrenten der AHV zugunsten ihres Ehemannes L._ (1952). Mit Verfügung vom 5. November 2009, ersetzt durch Verfügung vom 11. November 2010, wurde diesem selber eine Rente der Invalidenversicherung mit Wirkung ebenfalls ab 1. März 2008 zugesprochen. Die IV-Stelle des Kantons Zürich kürzte gleichzeitig den Betrag der nachzuzahlenden Invalidenrenten um den Betrag der im Zeitraum vom 1. März 2008 bis und mit Oktober 2009 bezogenen Zusatzrenten der AHV, entsprechend einer Verrechnung von insgesamt Fr. 11'320.-. A.b Die dagegen von L._ erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. November 2011 gut und wies die Sache an die Verwaltung zurück, damit diese prüfe, ob die angeordnete Verrechnung in das Existenzminimum eingreife, und hernach neu verfüge. A.c Auf die dagegen vom Bundesamt für Sozialversicherungen (BSV) erhobene Beschwerde trat das Bundesgericht nicht ein (Urteil 8C_1053/2010 vom 26. Januar 2011). A.d Am 20. Mai 2011 erliess die IV-Stelle eine neue Verfügung. In der Begründung wies sie darauf hin, dass nach der Berechnung der grossen Härte nur noch Fr. 1'341.- verrechnet würden bzw. Fr. 9'979.- an den Versicherten auszurichten seien. B. Dagegen erhob das BSV Beschwerde, die das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 14. November 2011 abwies. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt das BSV, der vorinstanzliche Entscheid und die Verfügung vom 20. Mai 2011 seien aufzuheben, und die IV-Stelle sei anzuweisen, die vollumfängliche Verrechnung der bezogenen Zusatzrenten mit den nachzuzahlenden Invalidenrenten anzuordnen. Die IV-Stelle schliesst in ihrer Vernehmlassung, welche sie durch die Ausgleichskasse Berner Arbeitgeber erstellen liess, auf Gutheissung der Beschwerde. L._ trägt mit Eingabe vom 20. Februar 2012 auf Abweisung der Beschwerde an.