Sachverhalt: A. A.a Mit Einspracheentscheid vom 7. August 2006 sprach die IV-Stelle Bern in Bestätigung ihrer Verfügung vom 24. Juni 2005 dem 1951 geborenen K._ eine Viertelsrente der Invalidenversicherung ab 1. Mai 2001 samt Zusatzrente für die Ehefrau und zwei Kinderrenten zu. Auf Beschwerde hin hob das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 2. Mai 2007 diesen Verwaltungsakt auf und wies die Sache zu weiteren Abklärungen an die IV-Stelle zurück. Vom 2. bis 5. Februar 2009 wurde K._ im Medizinischen Abklärungszentrum X._ untersucht. Nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle Bern das Leistungsbegehren mit Verfügung vom 17. März 2010 ab, was das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 bestätigte. Dagegen hat K._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. A.b Die IV-Stelle Bern hatte bis Ende März 2007 dem Regionalen Sozialdienst Y._, welcher K._ und dessen Familie unterstützt hatte, und danach bis Oktober 2009 dem Versicherten direkt Rentenleistungen entsprechend der Verfügung vom 24. Juni 2005 ausgerichtet. Mit Verfügung vom 16. November 2009 forderte sie von K._ den Betrag von Fr. 12'474.- zurück. B. Die Beschwerde des K._ gegen die Rückforderung wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, mit Entscheid vom 21. September 2010 ab. C. K._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 21. September 2010 sei aufzuheben und festzustellen, dass keine Rückerstattungspflicht besteht, unter Gewährung der unentgeltlichen Rechtspflege. Die IV-Stelle beantragt die Abweisung der Beschwerde. Das kantonale Gericht verweist auf seine Ausführungen im angefochtenen Entscheid, an dem es festhält. Das Bundesamt für Sozialversicherungen hat auf eine Vernehmlassung verzichtet.