Sachverhalt:
A. H._ war seit Juni 2003 Geschäftsführer mit Einzelunterschrift, bis 1. April 2004 zudem Gesellschafter der Firma L._ GmbH. Das Unternehmen hatte seinen Sitz im Zeitraum Juni bis Anfang Dezember 2003 in X._ SZ, danach in Y._ BE. Am ... 2005 wurde über die Firma der Konkurs eröffnet. Am ... 2005 wurde das Verfahren mangels Aktiven eingestellt. Mit Verfügung vom 4. August 2006 forderte die Ausgleichskasse Schwyz von H._ (unter solidarischer Haftung mit S._) Schadenersatz in der Höhe von Fr. 52'796.05 für entgangene Sozialversicherungsbeiträge des Bundes sowie entgangene Beiträge an die kantonale Familienausgleichskasse für 2003 und 2004. Mit Einspracheentscheid vom 12. März 2008 bestätigte sie die Schadenersatzpflicht in der verfügten Höhe.
B. H._ liess beim Verwaltungsgericht des Kantons Schwyz Beschwerde einreichen und die Aufhebung des Einspracheentscheides vom 12. März 2008 beantragen. Dieses wies mit Entscheid vom 30. Juni 2008 das Rechtsmittel im Sinne der Erwägungen ab, soweit es die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse betraf. Mit Entscheid vom selben Tag trat es mangels örtlicher Zuständigkeit auf die Beschwerde nicht ein, soweit sie Schadenersatz für entgangene bundesrechtliche Sozialversicherungsbeiträge und darauf geschuldete Nebenkosten zum Gegenstand hatte, und überwies die Akten zur Beurteilung an das Verwaltungsgericht des Kantons Bern.
Mit Entscheid vom 26. Februar 2009 wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts des Kantons Bern die Beschwerde gegen den Einspracheentscheid vom 12. März 2008 betreffend Schadenersatz für entgangene Sozialversicherungsbeiträge des Bundes ab.
C. H._ hat zwei Beschwerden in öffentlich-rechtlichen Angelegenheiten eingereicht, mit welchen er die Aufhebung der Entscheide vom 30. Juni 2008 und 26. Februar 2009 beantragt (Verfahren 9C_727/2008 und 9C_306/2009).
In dem im Verfahren 9C_727/2008 durchgeführten Schriftenwechsel hat die Ausgleichskasse Schwyz auf Abweisung der Beschwerde geschlossen.
Erwägungen:
1. Die Beschwerden richten sich zwar nicht gegen denselben letztinstanzlichen kantonalen Entscheid. Es liegt ihnen indessen der selbe Sachverhalt zu Grunde, es stellen sich in Bezug auf die streitige Schadenersatzpflicht für entgangene Sozialversicherungsbeiträge des Bundes (Art. 52 Abs. 1 AHVG) einerseits und für entgangene Beiträge an die Familienausgleichskasse des Kantons Schwyz (§ 32 Abs. 2 des schwyzerischen Gesetzes vom 17. April 2002 über die Familienzulagen [SZSR 370.100]) anderseits für 2003 und 2004 die gleichen Rechtsfragen und es stehen sich die selben Parteien gegenüber. Es rechtfertigt sich daher, die Verfahren 9C_306/2009 und 9C_727/2008 zu vereinigen und in einem einzigen Urteil zu erledigen.
2. Nach Art. 52 Abs. 1 AHVG hat ein Arbeitgeber den Schaden zu ersetzen, den er durch absichtliche oder grobfahrlässige Missachtung von Vorschriften der Versicherung zufügt. Gemäss § 32 Abs. 2 des schwyzerischen Gesetzes vom 17. April 2002 über die Familienzulagen hat ein Arbeitgeber den durch vorsätzliche oder grobfahrlässige Missachtung von Vorschriften verursachten Schaden der Kasse zu ersetzen (Satz 1). Dabei ist Art. 52 AHVG sinngemäss anwendbar (Satz 2). Durch diese Verweisung wird die bundesrechtliche Haftungsbestimmung nach Art. 52 Abs. 1 AHVG zum subsidiären kantonalen öffentlichen Recht und ist nach dessen Regeln anzuwenden und auszulegen. Sie gilt nicht als Bundesrecht, sondern als kantonales Recht (Urteil 1C_195/2007 vom 17. Dezember 2007 E. 4.1 mit Hinweisen). Die Verletzung von kantonalem Recht muss in qualifizierter Form gerügt und begründet werden (Art. 95 lit. a BGG und Art. 106 Abs. 2 BGG; BGE 133 I 201 E. 1 S. 203; 133 II 396 E. 3.1 S. 399; Urteile 9C_722/2007 vom 11. April 2008 E. 1.2 und 1C_195/2007 vom 17. Dezember 2007 E. 4.2).
3. 3.1 Gemäss Art. 42 BGG sind die Rechtsschriften in einer Amtssprache abzufassen und haben die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift zu enthalten (Abs. 1). In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Abs. 2 Satz 1).
Art. 42 Abs. 2 BGG verlangt, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt. Dies ist nicht der Fall, wenn vor Bundesgericht dieselbe Beschwerdebegründung eingereicht wird wie schon im kantonalen Verfahren (BGE 134 II 244 E. 2.1-2.3 S. 245 ff.).
3.2 Die Vorbringen in den beiden Beschwerden in öffentlich-rechtlichen Angelegenheiten gegen die streitige Schadenersatzpflicht für entgangene Sozialversicherungsbeiträge des Bundes einerseits und für entgangene Beiträge an die Familienausgleichskasse des Kantons Schwyz anderseits stimmen praktisch wortwörtlich mit denjenigen in der Beschwerde gegen den Einspracheentscheid vom 12. März 2008 überein. Es wird nicht geltend gemacht, die beiden Vorinstanzen seien - in Verletzung von Art. 112 Abs. 1 lit. b BGG (Urteil 1B_61/2008 vom 3. April 2008 E. 2.2) - auf wesentliche Argumente in dieser Rechtsschrift nicht eingegangen. Die beiden Beschwerden in öffentlich-rechtlichen Angelegenheiten genügen somit den (minimalen) Anforderungen an die Begründung gemäss Art. 42 Abs. 2 BGG nicht. Darauf ist daher nicht einzutreten.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Verfahren 9C_727/2008 und 9C_306/2009 werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Gerichtskosten von Fr. 2500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Mai 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler