Sachverhalt:
A. A.a Mit Einspracheentscheid vom 7. August 2006 sprach die IV-Stelle Bern in Bestätigung ihrer Verfügung vom 24. Juni 2005 dem 1951 geborenen K._ eine Viertelsrente der Invalidenversicherung ab 1. Mai 2001 samt Zusatzrente für die Ehefrau und zwei Kinderrenten zu. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 2. Mai 2007 diesen Verwaltungsakt auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück.
Vom 2. bis 5. Februar 2009 wurde K._ im Medizinischen Abklärungszentrum X._ untersucht. Nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle Bern das Leistungsbegehren mit Verfügung vom 17. März 2010 ab, was das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 bestätigte. Dagegen hat K._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht.
A.b Die IV-Stelle Bern hatte bis Ende März 2007 dem Regionalen Sozialdienst Y._, welcher K._ und dessen Familie unterstützt hatte, und danach bis Oktober 2009 dem Versicherten direkt Rentenleistungen entsprechend der Verfügung vom 24. Juni 2005 ausgerichtet. Mit Verfügung vom 16. November 2009 forderte sie von K._ den Betrag von Fr. 12'474.- zurück.
B. Die Beschwerde des K._ gegen die Rückforderung wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 ab.
C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 21. September 2010 sei aufzuheben und festzustellen, dass keine Rückerstattungspflicht besteht, unter Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht verweist auf seine Ausführungen im angefochtenen Entscheid, an dem es festhält. Das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Unrechtmässig bezogene Leistungen der Invalidenversicherung, insbesondere Invalidenrenten (Art. 1a lit. b und Art. 28 Abs. 1 IVG), sind zurückzuerstatten (<ref-law> in Verbindung mit <ref-law> und <ref-law>). In Anwendung dieser Bestimmung hat die Vorinstanz eine Rückerstattungspflicht des Beschwerdeführers in Bezug auf die im Zeitraum von April 2007 bis Oktober 2009 von der IV-Stelle ausgerichteten Renten in der Höhe von Fr. 12'474.- bejaht. Zur Begründung hat sie angeführt, die ursprüngliche Rentenzusprechung mit Verfügung vom 24. Juni 2005 und Einspracheentscheid vom 7. August 2006 sei stets unter dem Vorbehalt der rechtskräftigen Bestätigung durch eine übergeordnete Instanz gestanden, welche indessen nicht erfolgt sei. Mit Entscheid vom selben Tag habe sie einen Rentenanspruch verneint, womit es an einer Rechtsgrundlage für den Leistungsbezug fehle. Die Verfügung vom 24. Juni 2005 sei durch den Einspracheentscheid vom 7. August 2006 ersetzt worden und habe daher nicht formell aufgehoben werden müssen.
2. Der Beschwerdeführer bringt vor, die Rentenzahlung sei aufgrund der mit Einspracheentscheid vom 7. August 2006 bestätigten Verfügung vom 24. Juni 2005 erfolgt. Jener Verwaltungsakt sei von der Vorinstanz mit Entscheid vom 2. Mai 2007 aufgehoben worden und somit nicht in Rechtskraft erwachsen. Insoweit fehle es an einer Rechtsgrundlage für die Auszahlung der Viertelsrente. Der Entscheid vom 2. Mai 2007 verneine indessen nicht einen Rentenanspruch, sondern erachte den rechtserheblichen Sachverhalt als zu wenig genau abgeklärt. Sinngemäss könne daher nicht von einem unrechtmässigen Leistungsbezug gesprochen werden.
3. 3.1 Der Einspracheentscheid vom 7. August 2006 ersetzte die Verfügung vom 24. Juni 2005 (<ref-ruling> E. 6.1 S. 375; SVR 2009 UV Nr. 60 S. 212, 8C_121/2009 E. 3.5), wie die Vorinstanz richtig erkannt hat, trat an deren Stelle und bildete alleiniger Anfechtungsgegenstand des erstinstanzlichen Beschwerdeverfahrens (SVR 2005 AHV Nr. 9 S. 30, H 53/04 E. 1.1.3; RKUV 1998 Nr. U 305 S. 432, U 71/95 E. 2c). Eine dispositivmässige Aufhebung der Verfügung im ersten Entscheid der Vorinstanz in dieser Sache vom 2. Mai 2007 erübrigte sich daher (Urteil des Eidg. Versicherungsgerichts K 147/04 vom 3. August 2006 E. 5). Die Verfügung vom 24. Juni 2005 konnte nicht etwa wieder aufleben und in Rechtskraft erwachsen.
3.2 Der Beschwerdeführer bestreitet zu Recht nicht, dass der Einspracheentscheid vom 7. August 2006 nicht in Rechtskraft erwachsen ist und daher nicht als Rechtsgrundlage für die Auszahlung der Viertelsrente samt Zusatzrente für die Ehefrau des Versicherten und zwei Kinderrenten gelten kann. Sodann wird sinngemäss insoweit richtig vorgebracht, dass der Rückweisungsentscheid vom 2. Mai 2007 den Rentenanspruch nicht verneinte. Dies schaffte jedoch keine genügende rechtliche Grundlage für die Ausrichtung von Leistungen, und zwar umso weniger, als die Möglichkeit bestand, dass im Rückweisungsverfahren ein Rentenanspruch überhaupt verneint wird (Urteil 8C_468/2007 vom 6. Dezember 2007 E. 6.2.2; vgl. auch <ref-ruling> E. 2d S. 217). Zufolge Fehlens eines rechtskräftigen leistungszusprechenden Verwaltungsaktes oder Gerichtsentscheids erfolgten die Rentenzahlungen im Zeitraum Mai 2004 bis März 2007 ohne Rechtsgrund. Da die gerichtliche Verneinung eines Rentenanspruchs nach ursprünglicher Zusprechung einer Viertelsrente durch die IV-Stelle auch keinen Tatbestand einer Leistungsanpassung darstellt, kann die Rechtsprechung, wonach eine solche bei IV-spezifischen Gründen grundsätzlich mit Wirkung ex nunc erfolgt (<ref-ruling>; Urteil des Eidg. Versicherungsgerichts I 353/01 vom 25. Februar 2003 E. 4.2), was eine Rückforderung von hier nicht gegebenen Ausnahmen abgesehen ausschliesst, von vornherein nicht zur Anwendung gelangen.
Die bisherigen Rentenzahlungen sind somit zu Unrecht erfolgt.
4. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann unter Berücksichtigung der den Parteien obliegenden Begründungs- resp. Rügepflicht eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4.1 und 1.4.2 S. 254; SVR 2011 BVG Nr. 7 S. 22, 9C_448/2010 E. 2.2, nicht publ. in: <ref-ruling>).
4.1 Nach <ref-law> teilt die IV-Stelle der versicherten Person den vorgesehenen Endentscheid über ein Leistungsbegehren oder den Entzug oder die Herabsetzung einer bisher gewährten Leistung mittels Vorbescheid mit (Satz 1). Die versicherte Person hat Anspruch auf rechtliches Gehör im Sinne von Artikel 42 ATSG (Satz 2). Der Vorbescheid ist auch der Behörde zuzustellen, der eine Geldleistung ausbezahlt wird (<ref-law>). Die versicherte Person - mündlich oder schriftlich - und die anderen Parteien - schriftlich - können innerhalb einer Frist von 30 Tagen Einwände zum Vorbescheid vorbringen (Art. 73ter Abs. 1-3 IVV).
Nach Lage der Akten war vor Erlass der Rückerstatttungsverfügung vom 10. November 2009 kein Vorbescheidverfahren durchgeführt worden. Es kann offen bleiben, ob dieser Mangel heilbar ist, was nur sehr zurückhaltend anzunehmen ist (<ref-ruling> E. 2.9.2 S. 108 mit Hinweisen; Urteil des Eidg. Versicherungsgerichts I 584/01 vom 24. Juli 2002 E. 2).
4.2 Die erste Rückerstattungsverfügung vom 10. November 2009 wurde vor der rentenablehnenden Verfügung vom 17. März 2010 erlassen (vgl. zum zeitlichen Verhältnis solcher Verwaltungsakte zueinander SVR 2010 IV Nr. 45 S. 141, 9C_564/2009 E. 5.3). Zur Begründung hielt die IV-Stelle Folgendes fest: "Gemäss Urteil vom 02.05. 2007 vom Verwaltungsgericht des Kantons Bern wurde entschieden, dass der Entscheid über die Rente (...) gar nie in Rechtskraft erwachsen ist. Die Anspruchsvoraussetzungen auf eine Rente waren somit nie erfüllt. Demzufolge erlauben wir uns, die (...) zu Unrecht ausbezahlten Leistungen der IV vollumfänglich zurückzufordern (<ref-law>)."
Es stellt sich die Frage, ob der Rückforderungsanspruch rechtzeitig geltend gemacht worden ist.
4.2.1 Der Rückforderungsanspruch erlischt mit dem Ablauf eines Jahres, nachdem die IV-Stelle davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren nach der Entrichtung der einzelnen Leistung (<ref-law> in Verbindung mit <ref-law> und <ref-law>). Bei diesen Fristen handelt es sich um Verwirkungsfristen, die immer und von Amtes wegen zu berücksichtigen sind (<ref-ruling> E. 4.1 S. 582; <ref-ruling> E. 1 S. 12; <ref-ruling> E. 2b S. 350; Urteil 9C_737/2009 vom 1. April 2010 E. 2.1).
Für den Beginn der relativen einjährigen Verwirkungsfrist ist nicht das erstmalige unrichtige Handeln und die daran anknüpfende unrechtmässige Leistungsausrichtung massgebend. Abzustellen ist auf jenen Tag, an dem die IV-Stelle später bei der gebotenen und zumutbaren Aufmerksamkeit - etwa aufgrund eines zusätzlichen Indizes (SVR 2002 IV Nr. 2 S. 5, I 678/00 E. 3b) - den Fehler hätte erkennen müssen (<ref-ruling> E. 1 S. 383: "dans un deuxième temps"; <ref-ruling> E. 5a und 5b/aa S. 274 f.; <ref-ruling> E. 2b S. 307: "in un secondo tempo") und dass die Voraussetzungen für eine Rückforderung gegeben sind. Dies ist der Fall, wenn alle im konkreten Einzelfall erheblichen Umstände zugänglich sind, aus deren Kenntnis sich der Rückforderungsanspruch dem Grundsatz nach und in seinem Ausmass gegenüber einer bestimmten rückerstattungspflichtigen Person ergibt (<ref-ruling> E. 3 S. 17; Urteil 9C_999/2009 vom 7. Juni 2010 E. 3.2.1).
Die relative einjährige Verwirkungsfrist nach <ref-law> wird mit (dem Erlass und) der formgültigen Eröffnung des Vorbescheids gewahrt (<ref-ruling>; Urteile K 70/06 vom 30. Juli 2007 E. 4.3.1, nicht publ. in : <ref-ruling>, aber in: SVR 2008 KV Nr. 4 S. 11, und I 1023/06 vom 12. Februar 2007 E. 3.3).
4.2.2 Auszugehen ist davon, dass Leistungen nur ausgerichtet werden dürfen, wenn es hiefür eine Grundlage im Gesetz gibt, der Anspruch als solcher und in masslicher Hinsicht im dafür vorgesehenen Verfahren festgestellt wurde (vgl. betreffend Renten der Invalidenversicherung Art. 49 und 51 ATSG sowie <ref-law> und <ref-law>) und wenn der leistungszusprechende Entscheid (Verfügung, Einsprache- oder Gerichtsentscheid) in Rechtskraft erwachsen ist. Davon ist offensichtlich auch die IV-Stelle ausgegangen, als sie mit der Begründung, der Einspracheentscheid vom 7. August 2006 sei "gar nie in Rechtskraft erwachsen", die Rückforderungsverfügung vom 10. November 2009 vor dem rechtskräftigen Abschluss des - gerichtlich anhängigen - Beschwerdeverfahrens betreffend den Rentenanspruch erliess (vorne E. 4.2).
Der erste Fehler war hier bereits mit der erstmaligen Rentenauszahlung gestützt auf die - in keinem Zeitpunkt rechtsbeständig gewordenen - Verfügung vom 24. Juni 2005 bzw. den (angefochtenen) Einspracheentscheid vom 7. August 2006 passiert. Aufgrund des diesen Verwaltungsakt aufhebenden vorinstanzlichen Entscheids vom 2. Mai 2007 hätte die IV-Stelle bei der gebotenen und zumutbaren Aufmerksamkeit ohne weiteres erkennen können und müssen, dass die bisherigen und weiterhin (unverändert) ausgerichteten Leistungen unrechtmässig erfolgt waren. Die relative einjährige Verwirkungsfrist nach <ref-law> hatte somit mit der Eröffnung dieses Entscheids zu laufen begonnen, weshalb bei Erlass der Verfügung vom 10. November 2009 der Rückforderungsanspruch verwirkt war.
5. Bei diesem Ergebnis ist das Gesuch um Sistierung des Verfahrens bis zum definitiven Entscheid über den Rentenanspruch gegenstandslos.
6. Dem Ausgang des Verfahrens entsprechend hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist somit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 21. September 2010 und die Verfügung der IV-Stelle Bern vom 16. November 2009 werden aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Bern auferlegt.
3. Die IV-Stelle Bern hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'800.- zu entschädigen.
4. Das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. März 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler