Sachverhalt: A. Mit Verfügungen vom 19. September 2006 sprach die IV-Stelle Bern dem 1981 geborenen S._ eine ganze Rente der Invalidenversicherung ab 1. Oktober 1999 zu. Als Ergebnis eines von Amtes wegen eingeleiteten Revisionsverfahrens hob die IV-Stelle nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 16. Oktober 2008 die Rente rückwirkend auf den 1. Januar 2007 auf. Mit Verfügung vom 30. Oktober 2008 forderte die AHV-Ausgleichskasse X._ von S._ die für die Zeit vom 1. Januar 2007 bis 31. August 2008 ausgerichteten Leistungen in der Höhe von Fr. 58'324.- zurück. B. Mit Entscheid vom 21. Februar 2011 wies das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, die von S._ gegen beide Verfügungen erhobene Beschwerde, soweit darauf eingetreten werden konnte, und auch dessen Gesuch um unentgeltliche Rechtspflege ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 21. Februar 2011, soweit die Rückforderung der Verbandsausgleichskasse betreffend, und deren Verfügung vom 30. Oktober 2008 seien aufzuheben und ihm das Recht auf unentgeltliche Rechtspflege für das kantonale Verfahren zu erteilen, eventualiter die Sache insoweit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Mit Verfügung vom 11. April 2011 ist das Gesuch von S._ um unentgeltliche Rechtspflege wegen Aussichtslosigkeit des Prozesses abgewiesen worden.