Sachverhalt:
A. C._ war als Informatikdienstleister für die Schweizerische Eidgenossenschaft, namentlich für das Eidgenössische Departement für Umwelt, Verkehr, Energie und Kommunikation (nachfolgend: UVEK) resp. diesem unterstellte Bundesämter, tätig und als Selbstständigerwerbender der Ausgleichskasse des Schweizerischen Gewerbes angeschlossen. Nach Durchführung einer Arbeitgeberkontrolle beim UVEK qualifizierte die Eidgenössische Ausgleichskasse die entsprechende Tätigkeit für das Jahr 2009 (Februar bis September) als unselbstständig und verpflichtete die Eidgenossenschaft, Sozialversicherungsbeiträge auf der Lohnsumme von Fr. 47'740.- abzurechnen (Verfügung vom 17. September 2009). Die Verfügung erging auch an C._, der dagegen Einsprache erhob, welche die Ausgleichskasse am 28. April 2010 abwies.
B. Die dagegen durch C._ erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 14. Dezember 2010 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, unter Aufhebung des Entscheids vom 14. Dezember 2010 sei ihm wie bis anhin zu gestatten, die Sozialversicherungsbeiträge über "seine bisherige" Ausgleichskasse des Schweizerischen Gewerbes abrechnen zu lassen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Streitig und zu prüfen ist, ob das vom Beschwerdeführer 2009 beim UVEK erzielte Einkommen aus unselbstständiger oder aus selbstständiger Erwerbstätigkeit stammt.
3. 3.1 Vom Einkommen aus unselbstständiger Erwerbstätigkeit resp. massgebenden Lohn werden paritätische Arbeitnehmer- und Arbeitgeberbeiträge erhoben (Art. 5 Abs. 1 und Art. 13 AHVG). Als massgebender Lohn gilt jedes Entgelt für in unselbstständiger Stellung auf bestimmte oder unbestimmte Zeit geleistete Arbeit, mit Einschluss von Teuerungs- und anderen Lohnzulagen, Provisionen, Gratifikationen, Naturalleistungen, Ferien- und Feiertagsentschädigungen und ähnlichen Bezügen, sowie Trinkgeldern, soweit diese einen wesentlichen Bestandteil des Arbeitsentgeltes darstellen (<ref-law>). Vom Einkommen aus selbstständiger Erwerbstätigkeit wird demgegenüber ein Beitrag des Selbstständigerwerbenden erhoben (<ref-law>). Einkommen aus selbstständiger Erwerbstätigkeit ist jedes Erwerbseinkommen, das nicht Entgelt für in unselbstständiger Stellung geleistete Arbeit darstellt (<ref-law>).
3.2 Nach der Rechtsprechung beurteilt sich die Frage, ob im Einzelfall selbstständige oder unselbstständige Erwerbstätigkeit vorliegt, nicht auf Grund der Rechtsnatur des Vertragsverhältnisses zwischen den Parteien. Entscheidend sind vielmehr die wirtschaftlichen Gegebenheiten. Die zivilrechtlichen Verhältnisse vermögen dabei allenfalls gewisse Anhaltspunkte für die AHV-rechtliche Qualifikation zu bieten, ohne jedoch ausschlaggebend zu sein. Als unselbstständig erwerbstätig ist im Allgemeinen zu betrachten, wer von einem Arbeitgeber in betriebswirtschaftlicher bzw. arbeitsorganisatorischer Hinsicht abhängig ist und kein spezifisches Unternehmerrisiko trägt. Aus diesen Grundsätzen allein lassen sich indessen noch keine einheitlichen, schematisch anwendbaren Lösungen ableiten. Die Vielfalt der im wirtschaftlichen Leben anzutreffenden Sachverhalte zwingt dazu, die beitragsrechtliche Stellung einer erwerbstätigen Person jeweils unter Würdigung der gesamten Umstände des Einzelfalles zu beurteilen. Weil dabei vielfach Merkmale beider Erwerbsarten zu Tage treten, muss sich der Entscheid oft danach richten, welche dieser Merkmale im konkreten Fall überwiegen (<ref-ruling> E. 1 S. 163; <ref-ruling> E. 3a S. 171; 281 E. 2a S. 283; <ref-ruling> E. 2 S. 162). In Grenzfällen, in denen sowohl Merkmale unselbstständiger als auch solche selbstständiger Erwerbstätigkeit vorliegen, ohne dass das Pendel eindeutig in die eine oder die andere Richtung ausschlagen würde, ist rechtsprechungsgemäss namentlich auch Koordinationsgesichtspunkten Rechnung zu tragen (vgl. <ref-ruling> E. 4a S. 167; Urteile H 55/01 vom 27. Mai 2003 E. 4.2 und H 300/98 vom 4. Juli 2000 E. 8d/aa). Dies gilt vorab bei Erwerbstätigen, die gleichzeitig mehrere erwerbliche Tätigkeiten für verschiedene oder denselben Arbeit- oder Auftraggeber ausüben. Es soll nach Möglichkeit vermieden werden, dass verschiedene Erwerbstätigkeiten für denselben Arbeit- oder Auftraggeber oder dieselbe Tätigkeit für verschiedene Arbeit- oder Auftraggeber unterschiedlich, teils als selbstständige, teils als unselbstständige Erwerbstätigkeit, qualifiziert werden (BGE <ref-ruling> E. 3b S. 164; Urteile H 12/04 vom 17. Februar 2005, E. 3; H 300/98 vom 4. Juli 2000 E. 8d/aa).
3.3 Das Einkommen aus selbstständiger Erwerbstätigkeit wird von den kantonalen Steuerbehörden auf Grund der rechtskräftigen Veranlagung für die direkte Bundessteuer ermittelt und den Ausgleichskassen gemeldet (<ref-law>; <ref-law> [SR 831.101]). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (<ref-law>). Die absolute Verbindlichkeit der Angaben der Steuerbehörden für die Ausgleichskassen und die daraus abgeleitete relative Bindung des Sozialversicherungsgerichts an die rechtskräftigen Steuertaxationen sind auf die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals beschränkt und betreffen nicht die beitragsrechtliche Qualifikation (<ref-ruling> E. 2c S. 83). Auch hinsichtlich der Beurteilung, ob selbstständige oder unselbstständige Erwerbstätigkeit vorliegt, sind die Ausgleichskassen nicht an die Meldungen der kantonalen Steuerbehörden gebunden. Allerdings sollen sie sich bei der Qualifikation des Erwerbseinkommens in der Regel auf die Steuermeldungen verlassen und eigene nähere Abklärungen nur dann vornehmen, wenn sich ernsthafte Zweifel an der Richtigkeit der Steuermeldung ergeben (<ref-ruling> E. 3.3 S. 253 f.; <ref-ruling> E. 2c S. 83; <ref-ruling> E. 2 S. 75; <ref-ruling> E. 3c S. 294). Dies entspricht dem Grundsatz, dass die Begriffe der selbstständigen und der unselbstständigen Erwerbstätigkeit im Steuerrecht und im AHV-Recht grundsätzlich gleich zu verstehen sind und im Sinn einer harmonisierenden Rechtsanwendung nicht ohne Not von der steuerrechtlichen Beurteilung abgewichen werden soll. Um der Einheit und Widerspruchslosigkeit der gesamten Rechtsordnung willen ist eine verschiedene Betrachtungsweise der Steuerbehörde und der AHV-Verwaltung zu vermeiden, ausser wenn dafür ausschlaggebende Gründe vorliegen (<ref-ruling> E. 2.3 S. 302; vgl. Urteile H 2/06 vom 10. April 2006 E. 4.5; H 8/05 vom 8. August 2005 E. 4.2; H 30/99 [AHI 2001 S. 58] E. 6e; PETER FORSTER, AHV-Beitragsrecht, 2007, S. 142 f.; Bericht des Bundesrates vom 14. November 2001 über eine einheitliche und kohärente Behandlung von selbstständiger bzw. unselbstständiger Erwerbstätigkeit im Steuer- und im Sozialversicherungsabgaberecht, BBl 2002 1154, 1157 ff.).
4. 4.1 Die Vorinstanz hat festgestellt, der Beschwerdeführer sei in arbeitsorganisatorischer Hinsicht vom Auftraggeber abhängig: Er habe im Stundenlohn mit den Einrichtungen des Bundes am Ort des beauftragenden Amtes gearbeitet, an periodischen, praxisgemäss durch den Auftraggeber festgelegten Sitzungen teilgenommen und monatliche Arbeitsrapporte erstellt. Er sei vertraglich zur persönlichen Arbeitsleistung verpflichtet gewesen, auch wenn eine Substitution mit schriftlicher Zustimmung des Auftraggebers zulässig gewesen wäre. Weiter trage er im Hinblick auf die Tätigkeiten beim UVEK kein nennenswertes Unternehmerrisiko: Er habe keine erheblichen Investitionen getätigt. Die Aufwendungen für Buchhaltung, Büromaterial, Infrastruktur, Versicherungen und Mitgliederbeiträge stünden zwar im Kontext der Erwerbstätigkeit, aber nicht im direkten Zusammenhang mit der Betätigung beim UVEK oder den diesem unterstehenden Ämtern. Weiter habe er kein Inkasso- und Delkredererisiko zu tragen, welches nicht in ähnlicher Form auch für Arbeitnehmer in Bezug auf Lohnforderungen bestehe.
4.2 Die Umstände, dass die über das UVEK abgerechneten Arbeitsverhältnisse zivilrechtlich als Aufträge qualifiziert werden können (vgl. E. 3.2), der Beschwerdeführer mit konkreten Projektarbeiten ohne besondere Mitwirkungsobliegenheiten des Auftraggebers betraut wurde und er die Arbeiten in weitgehend freier Zeiteinteilung teilweise in eigenen Räumlichkeiten ausführte, lassen nicht zwingend auf arbeitsorganisatorische Unabhängigkeit schliessen. Dass der Einsatz zusätzlicher Mitarbeiterinnen oder Mitarbeiter nicht ausgeschlossen war, ändert nichts an der grundsätzlich persönlichen Leistungspflicht. Diesbezüglich macht der Beschwerdeführer ohnehin erstmals vor Bundesgericht und unter Verweis auf den neu eingereichten Vertrag vom 10. September 2010 geltend, überhaupt eine solche Person beigezogen zu haben, was unzulässig ist (<ref-law>). Verspätet ist auch die neue Behauptung, im Hinblick auf bestimmte Verträge mit dem UVEK Investitionen für Software getätigt zu haben, weshalb darauf nicht einzugehen ist. Inwiefern die übrigen Aufwendungen im konkreten Zusammenhang mit den Aktivitäten beim UVEK stehen oder dafür notwendig und erheblich sein sollen, legte der Beschwerdeführer nicht dar. Dass projektbezogen jeweils eine Offerten- und Rechnungsstellung erforderlich war, ist vergleichbar mit der Pflicht eines Arbeitnehmers zur Erstellung von Projektbudgets und -schlussabrechnungen. Soweit mit neu eingereichten Unterlagen (<ref-law>; Rechnung und Mahnung vom 7. November resp. 12. Dezember 2010) ein besonderes Inkassorisiko belegt werden soll, könnte der Beschwerdeführer nichts für sich ableiten, zumal diese nicht an das UVEK gerichtet waren. Die Unmöglichkeit, bei Arbeitslosigkeit Taggelder der Arbeitslosenversicherung zu beziehen (vgl. Art. 8 Abs. 1 lit. e in Verbindung mit <ref-law> [SR 837.0]), stellt kein unternehmerisches Risiko dar, sondern ist Folge des bisherigen Status des Beschwerdeführers als Selbstständigerwerbender. Eine offensichtliche Unrichtigkeit (<ref-ruling> E. 8.1 S. 153; <ref-ruling> E. 1.5 S. 130; SVR 2008 IV Nr. 60 195, 9C_337/2007 E. 6.2.2) der vorinstanzlichen Feststellungen ist nach dem Gesagten nicht ersichtlich und wird auch nicht geltend gemacht (vgl. <ref-law>). Weiter beruht die Sachverhaltsermittlung nicht auf einer Rechtsverletzung, weshalb sie für das Bundesgericht verbindlich ist (E. 1).
4.3 Aus den (vorinstanzlichen) Akten ist nicht ersichtlich, dass der Beschwerdeführer für andere Auftrag- oder Arbeitgeber als die dem UVEK unterstellten Bundesämter tätig war (vgl. E. 3.2); eine Ausnahme bildet einzig der undatierte Subplanervertrag mit der A._ Consulting, welcher angesichts der Vergütungssumme von Fr. 4'000.- im Vergleich zu den übrigen Verträgen eher von untergeordneter Bedeutung ist und ebenfalls ein Projekt eines solchen Bundesamtes betrifft. Diese Konzentration auf einen einzigen Vertragspartner stellt ein weiteres Indiz für den unselbstständigen Charakter der Tätigkeit dar. Damit bestehen ernsthafte Gründe für das Abweichen von der - nicht näher begründeten - steuerrechtlichen Qualifikation des Beschwerdeführers als Selbstständigerwerbender (vgl. E. 3.3). Weiter spricht der Anschluss an die Ausgleichskasse des Schweizerischen Gewerbes nicht gegen eine geänderte Beurteilung der Situation: Dass für den streitigen Einkommensteil (ab 2009) ein Beitragsstatus bereits rechtskräftig verfügt sein soll (SVR 2010 AHV Nr. 12 S. 42, 9C_1094/2009 E. 2.4 mit Hinweisen), ist nicht ersichtlich und wird auch nicht geltend gemacht. Ausserdem ist nicht auszuschliessen, dass der Beschwerdeführer für andere Tätigkeiten als selbstständig erwerbend zu qualifizieren ist resp. sein wird (vgl. <ref-law>; BGE <ref-ruling> E. 3b S. 172; Urteil 8C_303/2010 vom 23. Juni 2010 E. 2).
4.4 Angesichts der gesamten Umstände des Einzelfalls hat das kantonale Gericht nicht Bundesrecht verletzt, indem es mit Bezug auf das beim UVEK 2009 erzielte Einkommen des Beschwerdeführers von einer unselbstständigen Tätigkeit ausgegangen ist.
5. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 900.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 26. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann