Sachverhalt:
A. A.a Mit Verfügung vom 24. Juni 2005 sprach die IV-Stelle Bern dem 1951 geborenen K._ eine Viertelsrente der Invalidenversicherung samt Zusatzrente für die Ehefrau und zwei Kinderrenten ab 1. Mai 2001, was sie mit Einspracheentscheid vom 7. August 2006 bestätigte. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, diesen Verwaltungsakt mit Entscheid vom 2. Mai 2007 auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück.
Vom 2. bis 5. Februar 2009 wurde K._ im Medizinischen Abklärungszentrum Y._ untersucht. Nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle Bern mit Verfügung vom 17. März 2010 das Leistungsbegehren ab, was das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 bestätigte. Dagegen hat K._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht.
A.b Die IV-Stelle Bern hatte bis Ende März 2007 dem Regionalen Sozialdienst X._, welcher K._ und dessen Familie unterstützt hatte, und danach bis Oktober 2009 dem Versicherten direkt Rentenleistungen entsprechend der Verfügung vom 24. Juni 2005 ausgerichtet. Mit Verfügung vom 10. November 2009 forderte sie von der Sozialhilfebehörde den Betrag von Fr. 15'610.- zurück.
B. Das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, hiess die Beschwerde des Regionalen Sozialdienstes X._ teilweise gut und änderte die Verfügung vom 10. November 2009 dahingehend ab, dass es die Rückforderung auf Fr. 15'154.- festsetzte (Entscheid vom 21. September 2010).
C. Der Regionale Sozialdienst X._ hat Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben mit dem Rechtsbegehren, der Entscheid vom 21. September 2010 sei aufzuheben.
Die IV-Stelle beantragt die Abweisung der Beschwerde. K._, das kantonale Gericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Unrechtmässig bezogene Leistungen der Invalidenversicherung, insbesondere Invalidenrenten (Art. 1a lit. b und Art. 28 Abs. 1 IVG), sind zurückzuerstatten (<ref-law> in Verbindung mit <ref-law> und <ref-law>). In Anwendung dieser Bestimmung hat die Vorinstanz eine Rückerstattungspflicht der Beschwerde führenden Sozialhilfebehörde in Bezug auf die von der IV-Stelle im Zeitraum von November 2004 bis März 2007 ausgerichteten Rentenleistungen in der Höhe von Fr. 15'154.- bejaht. Zur Begründung hat sie angeführt, die ursprüngliche Rentenzusprechung mit Verfügung vom 24. Juni 2005 und Einspracheentscheid vom 7. August 2006 sei stets unter dem Vorbehalt der rechtskräftigen Bestätigung durch eine übergeordnete Instanz gestanden, welche indessen nicht erfolgt sei. Mit Entscheid vom selben Tag habe sie einen Rentenanspruch verneint, womit es an einer Rechtsgrundlage für den Leistungsbezug fehle. Die Verfügung vom 24. Juni 2005 sei durch den Einspracheentscheid vom 7. August 2006 ersetzt worden und habe daher nicht formell aufgehoben werden müssen.
2. Der Beschwerdeführer bringt vor, ein erstinstanzlicher Entscheid, welcher einen rentenzusprechenden Verwaltungsakt aufhebe, weil er auf ungenügenden Abklärungen beruhe, bedeute nicht, dass die bisherige Ausrichtung von Rentenleistungen unrechtmässig erfolgt sei, sondern besage lediglich, dass noch keine Klarheit über den Rentenanspruch bestehe. Ergäben die nachträglichen Abklärungen, dass aus IV-spezifischen, d.h. mit der Invaliditätsbemessung in Zusammenhang stehenden Gründen kein Anspruch bestanden habe, resultiere nach Gesetz und Rechtsprechung vorbehältlich hier nicht gegebener Ausnahmen (auch) daraus keine Rückerstattungspflicht. Eine Einstellung der Rentenzahlungen wäre deshalb vorliegend erst mit Wirkung ab Eintritt der Rechtskraft des Entscheids vom 2. Mai 2007 möglich gewesen. In jenem Zeitpunkt seien jedoch keine Zahlungen mehr an sie erfolgt. An diesem Ergebnis ändere nichts, selbst wenn angenommen würde, die Verfügung vom 24. Juni 2005 sei mit diesem Erkenntnis ebenfalls aufgehoben worden, da die IV-Stelle durch die nachträgliche Verneinung eines Rentenanspruchs davon ausgehe, sie habe seinerzeit einen spezifischen invalidenversicherungsrechtlichen Gesichtspunkt fehlerhaft gewürdigt.
3. 3.1 Der Einspracheentscheid vom 7. August 2006 ersetzte die Verfügung vom 24. Juni 2005 (<ref-ruling> E. 6.1 S. 375; SVR 2009 UV Nr. 60 S. 212, 8C_121/2009 E. 3.5), wie die Vorinstanz richtig erkannt hat, trat an deren Stelle und bildete alleiniger Anfechtungsgegenstand des erstinstanzlichen Beschwerdeverfahrens (SVR 2005 AHV Nr. 9 S. 30, H 53/04 E. 1.1.3; RKUV 1998 Nr. U 305 S. 432, U 71/95 E. 2c). Eine dispositivmässige Aufhebung der Verfügung im ersten Entscheid der Vorinstanz in dieser Sache vom 2. Mai 2007 erübrigte sich daher (Urteil des Eidg. Versicherungsgerichts K 147/04 vom 3. August 2006 E. 5). Die Verfügung vom 24. Juni 2005 konnte nicht etwa wieder aufleben und in Rechtskraft erwachsen.
3.2 Der Beschwerdeführer bestreitet zu Recht nicht, dass der Einspracheentscheid vom 7. August 2006 nicht in Rechtskraft erwachsen ist und daher nicht als Rechtsgrundlage für die Auszahlung der Viertelsrente samt Zusatzrente für die Ehefrau des Versicherten und zwei Kinderrenten gelten kann. Sodann wird sinngemäss insoweit richtig vorgebracht, dass der Rückweisungsentscheid vom 2. Mai 2007 den Rentenanspruch nicht verneinte. Dies schaffte jedoch keine genügende Grundlage für die Ausrichtung von Leistungen, und zwar umso weniger, als die Möglichkeit bestand, dass im Rückweisungsverfahren ein Rentenanspruch überhaupt verneint wird (Urteil 8C_468/2007 vom 6. Dezember 2007 E. 6.2.2; vgl. auch <ref-ruling> E. 2d S. 217). Zufolge Fehlens eines rechtskräftigen leistungszusprechenden Verwaltungsaktes oder Gerichtsentscheids erfolgten die Rentenzahlungen im Zeitraum Mai 2004 bis März 2007 ohne Rechtsgrund. Da die gerichtliche Verneinung eines Rentenanspruchs nach ursprünglicher Zusprechung einer Viertelsrente durch die IV-Stelle auch keinen Tatbestand einer Leistungsanpassung darstellt, kann die Rechtsprechung, wonach eine solche bei IV-spezifischen Gründen grundsätzlich mit Wirkung ex nunc erfolgt (<ref-ruling>; Urteil des Eidg. Versicherungsgerichts I 353/01 vom 25. Februar 2003 E. 4.2), was eine Rückforderung von hier nicht gegebenen Ausnahmen abgesehen ausschliesst, von vornherein nicht zur Anwendung gelangen.
Die bisherigen Rentenzahlungen sind somit zu Unrecht erfolgt.
4. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann unter Berücksichtigung der den Parteien obliegenden Begründungs- resp. Rügepflicht eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4.1 und 1.4.2 S. 254; SVR 2011 BVG Nr. 7 S. 22, 9C_ 448/2010 E. 2.2, nicht publ. in: <ref-ruling>).
4.1 Nach <ref-law> teilt die IV-Stelle der versicherten Person den vorgesehenen Endentscheid über ein Leistungsbegehren oder den Entzug oder die Herabsetzung einer bisher gewährten Leistung mittels Vorbescheid mit (Satz 1). Die versicherte Person hat Anspruch auf rechtliches Gehör im Sinne von Artikel 42 ATSG (Satz 2). Der Vorbescheid ist auch der Behörde zuzustellen, der eine Geldleistung ausbezahlt wird (<ref-law>). Die versicherte Person - mündlich oder schriftlich - und die anderen Parteien - schriftlich - können innerhalb einer Frist von 30 Tagen Einwände zum Vorbescheid vorbringen (Art. 73ter Abs. 1-3 IVV).
Nach Lage der Akten war vor Erlass der Rückerstatttungsverfügung vom 10. November 2009 kein Vorbescheidverfahren durchgeführt worden. Es kann offen bleiben, ob dieser Mangel heilbar ist, was nur sehr zurückhaltend anzunehmen ist (<ref-ruling> E. 2.9.2 S. 108 mit Hinweisen; Urteil des Eidg. Versicherungsgerichts I 584/01 vom 24. Juli 2002 E. 2).
4.2 Die erste Rückerstattungsverfügung vom 10. November 2009 wurde vor der rentenablehnenden Verfügung vom 17. März 2010 erlassen (vgl. zum zeitlichen Verhältnis solcher Verwaltungsakte zueinander SVR 2010 IV Nr. 45 S. 141, 9C_564/2009 E. 5.3). Zur Begründung hielt die IV-Stelle Folgendes fest: "Gemäss Urteil vom 02.05. 2007 vom Verwaltungsgericht des Kantons Bern wurde entschieden, dass der Entscheid über die Rente (...) gar nie in Rechtskraft erwachsen ist. Die Anspruchsvoraussetzungen auf eine Rente waren somit nie erfüllt. Demzufolge erlauben wir uns, die (...) zu Unrecht ausbezahlten Leistungen der IV vollumfänglich zurückzufordern (<ref-law>)."
Es stellt sich die Frage, ob der Rückforderungsanspruch rechtzeitig geltend gemacht worden ist.
4.2.1 Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die IV-Stelle davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung (<ref-law> in Verbindung mit <ref-law> und <ref-law>). Bei diesen Fristen handelt es sich um Verwirkungsfristen, die immer und von Amtes wegen zu berücksichtigen sind (<ref-ruling> E. 4.1 S. 582; <ref-ruling> E. 1 S. 12; <ref-ruling> E. 2b S. 350; Urteil 9C_737/2009 vom 1. April 2010 E. 2.1).
Für den Beginn der relativen einjährigen Verwirkungsfrist ist nicht das erstmalige unrichtige Handeln und die daran anknüpfende unrechtmässige Leistungsausrichtung massgebend. Abzustellen ist auf jenen Tag, an dem die IV-Stelle später bei der gebotenen und zumutbaren Aufmerksamkeit - etwa aufgrund eines zusätzlichen Indizes (SVR 2002 IV Nr. 2 S. 5, I 678/00 E. 3b) - den Fehler hätte erkennen müssen (<ref-ruling> E. 1 S. 383: "dans un deuxième temps"; <ref-ruling> E. 5a und 5b/aa S. 274 f.; <ref-ruling> E. 2b S. 307: "in un secondo tempo") und dass die Voraussetzungen für eine Rückforderung gegeben sind. Dies ist der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17; Urteil 9C_999/2009 vom 7. Juni 2010 E. 3.2.1).
Die relative einjährige Verwirkungsfrist nach <ref-law> wird mit (dem Erlass und) der formgültigen Eröffnung des Vorbescheids gewahrt (<ref-ruling>; Urteile K 70/06 vom 30. Juli 2007 E. 4.3.1, nicht publ. in : <ref-ruling>, aber in: SVR 2008 KV Nr. 4 S. 11, und I 1023/06 vom 12. Februar 2007 E. 3.3).
4.2.2 Auszugehen ist davon, dass Leistungen nur ausgerichtet werden dürfen, wenn es hiefür eine Grundlage im Gesetz gibt, der Anspruch als solcher und in masslicher Hinsicht im dafür vorgesehenen Verfahren festgestellt wurde (vgl. betreffend Renten der Invalidenversicherung Art. 49 und 51 ATSG sowie <ref-law> und <ref-law>) und wenn der leistungszusprechende Entscheid (Verfügung, Einsprache- oder Gerichtsentscheid) in Rechtskraft erwachsen ist. Davon ist offensichtlich auch die IV-Stelle ausgegangen, als sie mit der Begründung, der Einspracheentscheid vom 7. August 2006 sei "gar nie in Rechtskraft erwachsen", die Rückforderungsverfügung vom 10. November 2009 vor dem rechtskräftigen Abschluss des - gerichtlich anhängigen - Beschwerdeverfahrens betreffend den Rentenanspruch erliess (vorne E. 4.2).
Der erste Fehler war hier bereits mit der erstmaligen Rentenauszahlung gestützt auf die - in keinem Zeitpunkt rechtsbeständig gewordenen - Verfügung vom 24. Juni 2005 bzw. den (angefochtenen) Einspracheentscheid vom 7. August 2006 passiert. Aufgrund des diesen Verwaltungsakt aufhebenden vorinstanzlichen Entscheids vom 2. Mai 2007 hätte die IV-Stelle bei der gebotenen und zumutbaren Aufmerksamkeit ohne weiteres erkennen können und müssen, dass die bisherigen Leistungen unrechtmässig erfolgt waren. Die relative einjährige Verwirkungsfrist nach <ref-law> hatte somit mit der Eröffnung dieses Entscheids zu laufen begonnen, weshalb bei Erlass der Verfügung vom 10. November 2009 der Rückforderungsanspruch verwirkt war.
5. Bei diesem Ergebnis ist das Gesuch um Sistierung des Verfahrens bis zum definitiven Entscheid über den Rentenanspruch gegenstandslos.
6. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>). Die obsiegende Sozialhilfebehörde hat keinen Anspruch auf Parteientschädigung (<ref-law>; Urteil 2C_212/2007 vom 11. Dezember 2007 E. 5).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 21. September 2010 und die Verfügung der IV-Stelle Bern vom 10. November 2009 werden aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Dieses Urteil wird den Parteien, K._, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler