Sachverhalt: A. C._ war als Informatikdienstleister für die Schweizerische Eidgenossenschaft, namentlich für das Eidgenössische Departement für Umwelt, Verkehr, Energie und Kommunikation (nachfolgend: UVEK) resp. diesem unterstellte Bundesämter, tätig und als Selbstständigerwerbender der Ausgleichskasse des Schweizerischen Gewerbes angeschlossen. Nach Durchführung einer Arbeitgeberkontrolle beim UVEK qualifizierte die Eidgenössische Ausgleichskasse die entsprechende Tätigkeit für das Jahr 2009 (Februar bis September) als unselbstständig und verpflichtete die Eidgenossenschaft, Sozialversicherungsbeiträge auf der Lohnsumme von Fr. 47'740.- abzurechnen (Verfügung vom 17. September 2009). Die Verfügung erging auch an C._, der dagegen Einsprache erhob, welche die Ausgleichskasse am 28. April 2010 abwies. B. Die dagegen durch C._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 14. Dezember 2010 ab. C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, unter Aufhebung des Entscheids vom 14. Dezember 2010 sei ihm wie bis anhin zu gestatten, die Sozialversicherungsbeiträge über "seine bisherige" Ausgleichskasse des Schweizerischen Gewerbes abrechnen zu lassen.