Sachverhalt:
A. Die X._ GmbH verlegte ihren Sitz am ... 2002 von Y._ nach Z._. Zweck der Gesellschaft war neben anderem der Handel mit Waren aller Art, insbesondere mit Naturprodukten, sowie die Förderung des Handels mit legalen Hanfprodukten. T._ und E._ waren Gesellschafter und Geschäftsführer mit Kollektivunterschrift zu zweien. Mit Verfügung vom ... 2004 wurde über die Gesellschaft der Konkurs eröffnet. Die Gesellschaft wurde aufgelöst und das Verfahren mit Verfügung vom ... 2007 als geschlossen erklärt und die Gesellschaft im Handelsregister am ... 2007 von Amtes wegen gelöscht.
Mit separaten Verfügungen vom 30. April 2007 forderte die Ausgleichskasse Schwyz von T._ und E._ solidarisch die Bezahlung eines Schadenersatzes von Fr. 16'291.- wegen nicht vollständig bezahlter Sozialversicherungsbeiträge samt Einzugsspesen der Jahre 2003 (Fr. 14'578.45) und 2004 (Fr. 1'712.55). Mit Verfügung vom 31. Mai 2008 verpflichtete sie M._, Ehemann von E._, zu einer Schadenersatzzahlung in derselben Höhe. Sie lud E._ und M._ sowie T._ zu den jeweils zwei anderen Schadenersatzverfahren bei. Die von allen Adressaten erhobenen Einsprachen wies sie mit Entscheiden vom 9. Februar 2009 ab.
B. Einzig T._ erhob Beschwerde beim Verwaltungsgericht des Kantons Schwyz. Er beantragte die Aufhebung der an ihn adressierten Entscheide; die gegen E._ und M._ ergangenen Entscheide seien soweit aufzuheben, als darin seine solidarische Haftung verfügt werde. Soweit es darauf eintrat, wies das Verwaltungsgericht die Beschwerde mit Entscheid vom 27. November 2009 ab.
C. T._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 27. November 2009 sowie der Einspracheentscheid der Ausgleichskasse Schwyz vom 9. Februar 2009 und deren Verfügung vom 20. April 2007 seien vollumfänglich aufzuheben; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
In der Vernehmlassung beantragt die Vorinstanz die Abweisung der Beschwerde; die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf Stellungnahme; E._ und M._ äussern sich nicht zur Beschwerde.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. In formeller Hinsicht rügt der Beschwerdeführer die Verletzung des rechtlichen Gehörs durch die Vorinstanz. So sei ihm weder zu den beim Kreisgericht edierten Strafakten (Verfahren wegen Widerhandlungen gegen das Betäubungsmittelgesetz durch An- und Verkauf von Rauchhanf und dessen Lagerung zum Verkauf) noch zur Vernehmlassung der Ausgleichskasse noch zu den Stellungnahmen der Beigeladenen Gelegenheit zu Bemerkungen eingeräumt worden. Dazu führt die Vorinstanz in der Vernehmlassung zutreffend aus, dass dem Beschwerdeführer im kantonalen Verfahren das Akteneditionsbegehren des Gerichts und die Vernehmlassung der Ausgleichskasse zur Kenntnisnahme zugestellt worden sind. Er hatte die Möglichkeit, sich zu äussern und Einblick in die (ihm schon bekannten) Strafakten zu nehmen. Die Beigeladenen haben vorinstanzlich keine Stellungnahme eingereicht.
3. Materiell streitig ist nur, ob der Beschwerdeführer für die Beitragsausstände der Gesellschaft der Jahre 2003 und 2004 solidarisch haftbar gemacht werden kann, was dieser mit dem Hinweis verneint, er habe in der fraglichen Zeit keine Möglichkeit der Einflussnahme auf die Verwaltung und Führung der Gesellschaft mehr gehabt und sei damals faktisch bereits als Organ ausgeschieden.
3.1 Die zur subsidiären Haftung der Organe eines Arbeitgebers nach Art. 52 AHVG und der dazu ergangenen Rechtsprechung erforderlichen Voraussetzungen (Organstellung, Schaden, Widerrechtlichkeit, Verschulden, Kausalität, Nichtverwirkung) sind im angefochtenen Entscheid korrekt dargelegt (E. 1.1-1.6, 2.2).
3.2 Die Vorinstanz hat für das Bundesgericht grundsätzlich verbindlich (Art. 105 Abs. 1 BGG) festgestellt, dass der Beschwerdeführer aus der GmbH mit deren Auflösung ausgeschieden ist. Wie sie zutreffend anführt, ist nach der Rechtsprechung für das Ende der Organstellung auf das Datum des tatsächlichen Ausscheidens aus der Gesellschaft abzustellen (anstelle vieler vgl. <ref-ruling> E. 4a sowie Marco Reichmuth, Die Haftung des Arbeitgebers und seiner Organe nach Art. 52 AHVG, Diss. Freiburg 2008, Rz. 244 f. mit Hinweisen) und haftet eine Person grundsätzlich für jenen Schaden, der durch die Nichtbezahlung von Beiträgen verursacht ist, die zu einem Zeitpunkt zur Zahlung anstanden, als sie eine formelle, materielle oder faktische Organstellung innehatte und somit disponieren sowie Zahlungen an die Ausgleichskasse veranlassen konnte (vgl. <ref-ruling> E. 5 S. 123 sowie Marco Reichmuth, a.a.O., Rz. 256 f. mit Hinweisen).
3.3 Im Hinblick darauf, dass die Praxis für den Nachweis des Ausscheidens bei unverändert belassenem Handelsregistereintrag einen höheren Beweisgrad als eine überwiegende Wahrscheinlichkeit verlangt (das Ausscheiden muss "klar ausgewiesen" sein; zum Ganzen <ref-ruling> E. 4b S. 62), könnte die vorinstanzliche Sachverhaltsfeststellung, der Beschwerdeführer sei während der Jahre 2003 und 2004 als Organ effektiv noch nicht ausgeschieden gewesen, als nicht offensichtlich unrichtig bestätigt werden. Im Lichte der ständigen Praxis jedoch, wonach die Verantwortlichkeit längstens bis zum Moment des tatsächlichen Austritts aus dem Verwaltungsrat dauert, also dem Zeitpunkt, in welchem die Funktion tatsächlich nicht mehr ausgeübt wird (Urteile H 15/04 vom 8. Februar 2005 E. 2.2; H 263/02 vom 6. Februar 2003 E. 3.2), kann aus den vorinstanzlichen Sachverhaltsfeststellungen nicht willkürfrei gefolgert werden, der Beschwerdeführer habe bis zur Auflösung der Gesellschaft Organstellung gehabt. Nach der Rechtsprechung ist das faktische Aufhören der Organstellung auch dann relevant, wenn es vor einem ausdrücklichen Rücktrittsschreiben erfolgt (Urteil H 15/04, a.a.O., E. 2.2), z.B. infolge Arbeitsunfähigkeit (Urteil H 263/02, a.a.O., E. 3.3) oder wenn sonst erstellt ist, dass kein Einfluss auf den Geschäftsgang erfolgt ist (Urteil H 15/04, a.a.O., E. 4.2.3). Die Vorinstanz konstatiert selber, dass der Beschwerdeführer von August 2003 bis Ende 2003 arbeitsunfähig gewesen und der Kontakt zu M._ Ende 2003 abgebrochen ist. Aus dem vorinstanzlich festgestellten Sachverhalt folgt somit, dass der Beschwerdeführer spätestens Ende Dezember 2003 faktisch aus der Firma ausgeschieden ist. Es bezieht sich denn auch kein einziges der von der Vorinstanz in E. 6.3.2 aufgeführten Elemente auf das Jahr 2004. Der Beschwerdeführer ist daher von der Schadenersatzpflicht für die für das betreffende Jahr ausgefallenen Sozialversicherungsbeiträge zu entbinden, wodurch sich der Schadensbetrag beider Jahre von Fr. 16'291.- um Fr. 1'712.55 (2004) auf Fr. 14'578.45 (2003) reduziert.
3.4 Für das Jahr 2003 indes ist dem Beschwerdeführer der erforderliche Nachweis nicht gelungen, weshalb es bei der Verantwortlichkeit des formellen Organs bleibt, welches für den entstandenen Schaden einzustehen hat. Verwaltung und Vorinstanz haben zutreffend befunden, dass der Beschwerdeführer seinen Aufsichts- und Kontrollpflichten als Geschäftsführer der GmbH nicht in hinreichendem Ausmass nachgekommen ist und damit die Sorgfaltspflicht als Organ der Gesellschaft in zumindest grobfahrlässiger Weise verletzt hat, ohne dass aufgrund seiner Vorbringen und der Akten Anhaltspunkte für besondere Umstände bestehen, welche dieses Verhalten rechtfertigen oder entschuldigen würden.
4. Hat keine Partei vollständig obsiegt, können die Kosten verhältnismässig verlegt werden (s. Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 27. November 2009 und der Einspracheentscheid der Ausgleichskasse Schwyz vom 9. Februar 2009 werden insoweit abgeändert, als der Beschwerdeführer solidarisch Schadenersatz in Höhe von Fr. 14'578.45 zu bezahlen hat. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 1'400.- werden dem Beschwerdeführer Fr. 1'200.- und der Beschwerdegegnerin Fr. 200.- auferlegt.
3. Dieses Urteil wird den Parteien, E._, M._, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. April 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz