Sachverhalt:
A. Mit Verfügungen vom 19. September 2006 sprach die IV-Stelle Bern dem 1981 geborenen S._ eine ganze Rente der Invalidenversicherung ab 1. Oktober 1999 zu. Als Ergebnis eines von Amtes wegen eingeleiteten Revisionsverfahrens hob die IV-Stelle nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 16. Oktober 2008 die Rente rückwirkend auf den 1. Januar 2007 auf. Mit Verfügung vom 30. Oktober 2008 forderte die AHV-Ausgleichskasse X._ von S._ die für die Zeit vom 1. Januar 2007 bis 31. August 2008 ausgerichteten Leistungen in der Höhe von Fr. 58'324.- zurück.
B. Mit Entscheid vom 21. Februar 2011 wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, die von S._ gegen beide Verfügungen erhobene Beschwerde, soweit darauf eingetreten werden konnte, und auch dessen Gesuch um unentgeltliche Rechtspflege ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 21. Februar 2011, soweit die Rückforderung der Verbandsausgleichskasse betreffend, und deren Verfügung vom 30. Oktober 2008 seien aufzuheben und ihm das Recht auf unentgeltliche Rechtspflege für das kantonale Verfahren zu erteilen, eventualiter die Sache insoweit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Mit Verfügung vom 11. April 2011 ist das Gesuch von S._ um unentgeltliche Rechtspflege wegen Aussichtslosigkeit des Prozesses abgewiesen worden.

Erwägungen:
1. Die Verfügung vom 30. Oktober 2008 über die einzig streitige Rückerstattung von Fr. 58'324.- gestützt auf <ref-law> wurde von der für die Berechnung der Invalidenrente und deren Auszahlung zuständigen Ausgleichskasse erlassen (Art. 60 Abs. 1 lit. b und c IVG in der seit 1. Januar 2008 geltenden Fassung). Sachlich zuständig für den Erlass der Rückforderungsverfügung war indessen die IV-Stelle (<ref-law> und <ref-law>). Dieser - nicht gerügte - Mangel stellt unter den gegebenen Umständen jedoch keinen Nichtigkeitsgrund dar, welcher grundsätzlich von Amtes wegen zu berücksichtigen wäre (Urteil 5A_45/2007 vom 6. Dezember 2007 E. 5.2.1). Die Rückforderung wurde nach Aufhebung der Rente verfügt. Die Rentenaufhebungsverfügung enthielt sodann den Hinweis auf die separat zu verfügende Rückerstattungspflicht, war unterzeichnet und auch sonst mit keinem Formfehler behaftet (anders SVR 2008 IV Nr. 46 S. 155, I 143/06 E. 5.3.2-4).
2. Der Beschwerdeführer bestreitet eine Meldepflichtverletzung nach <ref-law> und <ref-law> als Voraussetzung für die rückwirkende Rentenaufhebung und die grundsätzliche Rückerstattungspflicht.
In E. 6.2 des vorinstanzlichen Entscheids werden die Gründe genannt, weshalb der Tatbestand einer schuldhaften Meldepflichtverletzung im Sinne der erwähnten Bestimmungen als erfüllt zu betrachten ist, insbesondere der strafrichterlichen Sachverhaltswürdigung keine Bindungswirkung für den invalidenversicherungsrechtlichen Rückforderungsprozess zukommt (u.a. anderes Beweismass, unterschiedlicher Verschuldensmassstab, nicht vorbehaltlos überzeugende Ausführungen zur medizinischen Situation). In der Beschwerde werden die betreffenden Erwägungen nicht substanziiert bestritten, sondern lediglich dargelegt, dass und inwiefern aus den strafrechtlichen Akten andere Schlüsse zu ziehen seien, was den Begründungsanforderungen nach <ref-law> nicht genügt (Urteil 4A_22/2008 vom 10. April 2008 E. 1 mit Hinweisen).
3. Im Weitern ist nicht ersichtlich, inwiefern die Tatsache, dass die rentenzusprechende Verfügung vom 19. September 2006 und die rentenaufhebende Verfügung vom 16. Oktober 2008 lediglich zwei Jahre auseinanderliegen, den Verzicht auf die Rückforderung vertrauensschutzrechtlich rechtfertigen soll. Der Hinweis in der Beschwerde auf UELI KIESER (ATSG-Kommentar, 2. Aufl. 2008, Rz. 25 [= Rz. 8 der ersten Auflage] zu Art. 25) gibt zu keiner anderen Betrachtungsweise Anlass. Im Übrigen sind ein Invaliditätsgrad von 91 % und eine Arbeits- und Leistungsfähigkeit von 100 % spätestens seit Januar 2007 unbestritten und war schon im Vorbescheid vom 22. Mai 2006 darauf hingewiesen worden, dass jede "Änderung in persönlichen in wirtschaftlichen Verhältnissen, welche den Leistungsanspruch beeinflussen kann", der IV-Stelle unverzüglich mitzuteilen sei.
4. Nach dem Gesagten kann auch der einzig mit dem Fehlen einer Meldepflichtverletzung - was gegen die Aussichtslosigkeit des Prozesses spreche - begründeten Rüge der Verletzung von <ref-law> (Abweisung des Gesuchs um unentgeltliche Rechtspflege für das erstinstanzliche Beschwerdeverfahren durch die Vorinstanz) kein Erfolg beschieden sein.
5. Mit dem sofortigen Entscheid in der Sache ist die Frage der aufschiebenden Wirkung der Beschwerde gegenstandslos (SVR 2010 IV Nr. 28 S. 87, 9C_708/2009 E. 3).
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Mai 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler