Sachverhalt:
A. Die im Juli 2002 gegründete Firma H._ GmbH war der Ausgleichskasse des Kantons Aargau angeschlossen. Am ... 2007 wurde über die Gesellschaft der Konkurs eröffnet. Die von der Ausgleichskasse eingegebenen Forderungen blieben ungedeckt. Mit Verfügung vom 9. März 2009 verpflichtete sie daher S._, ehemaliger Gesellschafter und Geschäftsführer der konkursiten Firma, zur Bezahlung von Schadenersatz in der Höhe von Fr. 36'978.35 für entgangene Sozialversicherungsbeiträge. Mit Einspracheentscheid vom 6. Mai 2009 bestätigte die Ausgleichskasse Schadenersatzpflicht und Schadensbetrag.
B. Die Beschwerde des S._ wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 10. November 2009 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, Gerichtsentscheid und Einspracheentscheid seien aufzuheben.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde. Kantonales Versicherungsgericht und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Nach Erhalt der Kostenvorschussverfügung hat S._ ein Gesuch um unentgeltliche Rechtspflege eingereicht.
Die Instruktionsrichterin hat die Betreibungs- und Konkursakten der Ausgleichskasse betreffend die Firma H._ GmbH eingeholt und S._ Gelegenheit zur Stellungnahme gegeben.

Erwägungen:
1. Der vorinstanzlich bestätigte Einspracheentscheid verpflichtet den Beschwerdeführer zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge nach <ref-law> (bis 31. Dezember 2002: <ref-law>), Verzugszinsen, Mahn- und Betreibungskosten. Dieser macht in erster Linie Verjährung geltend.
2. 2.1 Der Schadenersatzanspruch verjährt zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, jedenfalls fünf Jahre nach Eintritt des Schadens (<ref-law>). Schadenskenntnis im Sinne dieser Bestimmung ist grundsätzlich von dem Zeitpunkt an anzunehmen, in welchem die Verwaltung unter Beachtung der ihr zumutbaren Aufmerksamkeit erkennen muss, dass die tatsächlichen Gegebenheiten nicht mehr erlauben, die Beiträge einzufordern, wohl aber eine Schadenersatzpflicht begründen können (<ref-ruling> E. 2.1 S. 195; <ref-ruling> E. 3b S. 388). Da die ausstehenden Beiträge Grundlage für die Bemessung des Schadens bilden, muss deren Höhe bezifferbar sein (<ref-ruling> E. 3c in fine S. 445; Urteil des Eidg. Versicherungsgerichts H 31/00 vom 6. Juni 2000 E. 1b).
2.2 Im Falle eines Konkurses besteht in der Regel erst mit der Auflage von Kollokationsplan und Inventar ausreichende Schadenskenntnis im Sinne von <ref-law> (Urteil 9C_704/2007 vom 17. März 2008 E. 5.1, nicht publiziert in <ref-ruling>, aber in SVR 2008 FL Nr. 1 S. 1; <ref-ruling> E. 2.3 S. 195). Eine frühere, die relative zweijährige Verjährungsfrist in Gang setzende Kenntnis vom Schaden kann nur angenommen werden, wenn nach den konkreten Umständen vom Verwertungsverfahren offensichtlich keine (weitere) Befriedigung erwartet werden kann (Urteil 9C_647/2009 vom 15. April 2010 E. 3.1; Urteile des Eidg. Versicherungsgerichts H 211/04 vom 17. März 2005 E. 4.2.2 und H 97/02 vom 24. Dezember 2002 E. 3.3). Nach der Rechtsprechung gilt mit der Ausstellung eines definitiven Pfändungsverlustscheins (<ref-law> in Verbindung mit <ref-law>) der Schaden in Bezug auf die Beitragsausstände, die dem verurkundeten Betrag zugrunde liegen, als eingetreten und es besteht fristauslösende Schadenskenntnis (<ref-ruling> E. 3c S. 258; Urteil 9C_910/2009 vom 29. Januar 2010 E. 3.3.2 mit Hinweis). Einem bloss provisorischen Pfändungsverlustschein (<ref-law>) kommt nicht dieselbe Bedeutung zu. Er verpflichtet die Ausgleichskasse in der Regel einzig, das Verwertungsbegehren zu stellen und dessen Ergebnis abzuwarten (ZAK 1991 S. 125, H 116/85, E. 2a), es sei denn, von einem solchen Vorgehen könne offensichtlich keine Deckung der fälligen Beitragsschulden erwartet werden.
Unter Umständen kann die Ausgleichskasse, welche nach <ref-law> fällige Beiträge grundsätzlich nicht auf dem Wege der Konkursbetreibung erhältlich machen kann, gestützt auf <ref-law> allenfalls sogar ohne vorgängige Betreibung auf Pfändung direkt beim zuständigen Gericht die Konkurseröffnung verlangen (vgl. SJ 1999 I S. 496, 5P.114/1999, E. 3). Dies kann etwa der Fall sein, wenn der Arbeitgeber über längere Zeit ausschliesslich seine privaten Gläubiger befriedigt und den öffentlich-rechtlichen Verpflichtungen, insbesondere Bezahlung der Steuern und Sozialversicherungsbeiträge, trotz wiederholter Mahnungen und Betreibungen nicht nachkommt (SJ 2000 I S. 248, 5P.412/1999, E. 2b).
3. 3.1 Die Vorinstanz hat festgestellt, die Ausgleichskasse habe mit Auflage des Kollokationsplanes am ... 2007 Kenntnis von ihrem Schaden erhalten. Mit Erlass der Verfügung vom 9. März 2009 sei daher die relative zweijährige Verwirkungsfrist gewahrt worden. Dem Einwand in der Beschwerde, die Verwaltung habe bereits früher Kenntnis vom Schaden gehabt, da sie aus den mehrfachen Betreibungen gegen die konkursite Firma bereits Pfändungsverlustscheine erhalten und daher habe wissen müssen, dass die Gesellschaft über kein verwertbares Vermögen verfüge, hat die Vorinstanz entgegengehalten, dass nur definitive, nicht aber provisorische Verlustscheine kenntnisauslösend seien. Da bei Pfändungen die Vermögenswerte, welche für eine Firma zur Weiterführung ihrer Geschäftstätigkeit notwendig seien, nicht eingefordert bzw. verwertet werden dürften (vgl. sinngemäss <ref-law>), könne es im Übrigen durchaus sein, dass im Konkursverfahren noch grössere Vermögenswerte (Maschinen, Waren u.a.) zur Deckung der Schulden beigezogen werden können. Eine Ausgleichskasse könne daher auch bei einem vor dem Konkurs durchgeführten Pfändungsverfahren erst mit Auflage des Kollokationsplanes abschätzen, in welchem Umfang ihre Forderungen allenfalls noch beglichen werden.
3.2 Der Beschwerdeführer rügt zu Recht, dass ohne die Betreibungsakten, welche die Vorinstanz nicht beigezogen zu haben scheine, nicht gesagt werden könne, ob die Ausgleichskasse Pfändungsverlustscheine erhalten habe und wenn ja, provisorische oder definitive. Aus den von ihm eingereichten Unterlagen ergab sich lediglich, dass die Verwaltung zahlreiche Betreibungen eingeleitet und in neun Fällen das Betreibungsamt eine Pfändung angekündigt hatte.
3.2.1 Aus den eingeholten Betreibungs- und Konkursakten der Ausgleichskasse ergibt sich Folgendes: Es wurden insgesamt sechs Pfändungen vollzogen, am 8. März und 24. August 2005 sowie am 7. März, 16. Juni, 22. August und 7. November 2006. Gepfändet wurden u.a. Maschinen und ein Lieferwagen. Dabei handelt es sich zwar um Werkzeuge und Geräteschaften nach dem Wortlaut von <ref-law>. Diese Bestimmung ist indessen entgegen der Auffassung der Vorinstanz bei juristischen Personen nicht anwendbar (Kurt Amonn/Fridolin Walther, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl. 2008, N. 24 S. 200; Georges von der mühll, in: Basler Kommentar, SchKG II, 1998, N. 57 zu <ref-law>). Die betreffenden Gegenstände konnten daher gepfändet und im dafür vorgesehenen Verfahren (<ref-law>) auch verwertet werden. Bei allen Pfändungen blieben die Forderungen der Pfändungsteilnehmer ungedeckt. In den Pfändungsurkunden wurde festgehalten, dass bei ungenügendem Ergebnis der Pfändung zur Deckung der Forderungen die Urkunde dem oder der Gläubigerin als provisorischer Verlustschein im Sinne von <ref-law> diene. Ebenfalls wurde darauf hingewiesen, dass innerhalb einer bestimmten Frist das Verwertungsbegehren gestellt werden könne, was die Ausgleichskasse nach allen sechs vollzogenen Pfändungen auch tat.
3.2.2 Es wurden somit keine definitiven Pfändungsverlustscheine ausgestellt, was zwar eine frühere fristauslösende Schadenskenntnis nicht ausnahmslos ausschliesst. Der Beschwerdeführer bringt insoweit richtig vor, dass innerhalb von rund eineinhalb Jahren sechs provisorische Pfändungsverlustscheine ausgestellt worden waren. Dabei hatten bereits ab Januar 2003 Beiträge gemahnt und in Betreibung gesetzt werden müssen. Zudem waren gemäss Kontoauszug vom 11. September 2009 ab Ende August 2003 alle Beitragszahlungen durch das Betreibungsamt erfolgt, die letztere grössere Zahlung über Fr. 1'436.40 am 19. April 2006. In diesem Zeitpunkt betrugen die Ausstände rund Fr. 24'000.-. Danach wurden lediglich noch zwei kleinere Beträge einbezahlt, letztmals am 7. August 2006 (Fr. 677.35). Diese Zahlungen erfolgten im Rahmen der vom Betreibungsamt am 12. August 2005 verfügten Aufschubbewilligung, nachdem in der Pfändung vom 8. März 2005 das Verwertungsbegehren gestellt worden war. Ebenfalls richtig weist der Beschwerdeführer darauf hin, dass bei den letzten beiden Pfändungen vom 22. August und 7. November 2006 ausschliesslich bereits früher gepfändete Gegenstände wieder gepfändet wurden (vgl. <ref-law>). Auch unter Berücksichtigung dieser Umstände kann indessen nicht gesagt werden, die Ausgleichskasse habe spätestens im Zeitpunkt der letzten Pfändung vor der Konkurseröffnung ... 2007 realistischerweise nicht mehr mit der Deckung wenigstens eines Teils der fälligen Beitragsschulden rechnen können. Wie die Vorinstanz auf den vorliegenden Fall bezogen festgehalten hat, konnte es durchaus sein, dass im Konkursverfahren noch grössere Vermögenswerte (Maschinen, Waren u.a.) zur Deckung der Schulden vorhanden waren (vorne E. 3.1). Der Schätzungswert der gepfändeten Maschinen, Werkzeuge und Lieferwagen betrug über Fr. 32'000.-. Die vorinstanzliche Verneinung einer Schadenskenntnis im Sinne von <ref-law> vor Auflage des Kollokationsplanes und damit eine Verwirkung des Schadenersatzanspruchs verletzt somit Bundesrecht nicht.
4. Der Ausgleichskasse ist als Folge der Missachtung der Vorschriften betreffend die Pflicht zur Abrechnung und Bezahlung der paritätischen Beiträge (<ref-law> und <ref-law>) durch die konkursite Firma ein Schaden entstanden. Das ist unbestritten. Dieses Verhalten ist den verantwortlichen Organen grundsätzlich als qualifiziertes Verschulden zuzurechnen (<ref-ruling> E. 4b S. 244), was die volle Schadenersatzpflicht nach sich zieht (Urteil 9C_152/2009 vom 18. November 2009 E. 5.2), sofern der Schaden in einem adäquaten Kausalzusammenhang damit steht, keine Rechtfertigungs- oder Exkulpationsgründe gegeben sind (<ref-ruling> E. 4a S. 406; <ref-ruling> E. 1 S. 201) und die Ausgleichskasse kein Mitverschulden trifft (<ref-ruling>).
4.1 Der Beschwerdeführer bestreitet ein schadenersatzrechtlich relevantes Verschulden. Entgegen der anders lautenden Feststellung der Vorinstanz habe er an den Gesellschafterversammlungen teilgenommen und bei dieser Gelegenheit Einsicht in Jahresabschluss und -bericht genommen. Es besteht kein Grund, diese bereits in der vorinstanzlichen Beschwerde enthaltene Darstellung in Zweifel zu ziehen. Damit vermag sich der Beschwerdeführer jedoch gleichwohl nicht zu entlasten, selbst wenn zutreffen sollte, dass die offenen und längst fälligen Beitragsforderungen in der Jahresrechnung lediglich unter den allgemeinen Kreditoren verbucht worden waren, wie er geltend macht. Soweit er damit sagen will, die Beitragsschulden gegenüber der Ausgleichskasse seien nicht als solche deklariert worden, behauptet er eine neue Tatsache, womit er nicht zu hören ist (<ref-law>). Abgesehen davon war er gerade wegen seiner Unbedarftheit in buchhalterischen und betriebswirtschaftlichen Belangen in besonderem Masse gehalten, die Beitragssituation namentlich auch gegenüber der Revisionsstelle zu thematisieren. Soweit er sich aufgrund einer Vereinbarung über die jeweiligen Kompetenzen der drei Gesellschafter auf eine korrekte Buchführung und Erledigung der Beitragsabrechnungs- und -zahlungspflicht durch die beiden hiefür Verantwortlichen verlassen hatte, vermag ihn dies ebenfalls nicht zu entlasten (vgl. zu den diesbezüglichen Sorgfaltspflichten eines Geschäftsführers einer Gesellschaft mit beschränkter Haftung Urteile 9C_152/2009 vom 18. November 2009 E. 6.1 und 9C_204/2008 vom 6. Mai 2009 E. 3.1). Dass der Beschwerdeführer wegen des allenfalls strafrechtlich relevanten Verhaltens der beiden anderen Gesellschafter oder der Revisionsstelle gar keine Möglichkeit hatte, die Beitragsausstände zu entdecken (vgl. Urteil 9C_152/2009 vom 18. November 2009 E. 6.3 und 6.4), wird nicht substanziiert dargelegt und ist aufgrund der Akten nicht anzunehmen. Die von der Vorinstanz bejahten weiteren materiellen Haftungsvoraussetzungen werden nicht bestritten.
4.1 Der Beschwerdeführer bestreitet ein schadenersatzrechtlich relevantes Verschulden. Entgegen der anders lautenden Feststellung der Vorinstanz habe er an den Gesellschafterversammlungen teilgenommen und bei dieser Gelegenheit Einsicht in Jahresabschluss und -bericht genommen. Es besteht kein Grund, diese bereits in der vorinstanzlichen Beschwerde enthaltene Darstellung in Zweifel zu ziehen. Damit vermag sich der Beschwerdeführer jedoch gleichwohl nicht zu entlasten, selbst wenn zutreffen sollte, dass die offenen und längst fälligen Beitragsforderungen in der Jahresrechnung lediglich unter den allgemeinen Kreditoren verbucht worden waren, wie er geltend macht. Soweit er damit sagen will, die Beitragsschulden gegenüber der Ausgleichskasse seien nicht als solche deklariert worden, behauptet er eine neue Tatsache, womit er nicht zu hören ist (<ref-law>). Abgesehen davon war er gerade wegen seiner Unbedarftheit in buchhalterischen und betriebswirtschaftlichen Belangen in besonderem Masse gehalten, die Beitragssituation namentlich auch gegenüber der Revisionsstelle zu thematisieren. Soweit er sich aufgrund einer Vereinbarung über die jeweiligen Kompetenzen der drei Gesellschafter auf eine korrekte Buchführung und Erledigung der Beitragsabrechnungs- und -zahlungspflicht durch die beiden hiefür Verantwortlichen verlassen hatte, vermag ihn dies ebenfalls nicht zu entlasten (vgl. zu den diesbezüglichen Sorgfaltspflichten eines Geschäftsführers einer Gesellschaft mit beschränkter Haftung Urteile 9C_152/2009 vom 18. November 2009 E. 6.1 und 9C_204/2008 vom 6. Mai 2009 E. 3.1). Dass der Beschwerdeführer wegen des allenfalls strafrechtlich relevanten Verhaltens der beiden anderen Gesellschafter oder der Revisionsstelle gar keine Möglichkeit hatte, die Beitragsausstände zu entdecken (vgl. Urteil 9C_152/2009 vom 18. November 2009 E. 6.3 und 6.4), wird nicht substanziiert dargelegt und ist aufgrund der Akten nicht anzunehmen. Die von der Vorinstanz bejahten weiteren materiellen Haftungsvoraussetzungen werden nicht bestritten.
4.2 4.2.1 Der Beschwerdeführer rügt ein haftungsunterbrechendes Mitverschulden der Ausgleichskasse an der Entstehung des Schadens. Die Verwaltung habe es während drei Jahren unterlassen, die Geschäftsführer, insbesondere auch ihn, über den sich laufend aufstauenden Schuldenberg, für den er persönlich haften soll, zu informieren. Dieses Vorbringen ist nicht stichhaltig. Weder besteht im Rahmen von <ref-law> grundsätzlich eine Pflicht der Organe des Arbeitgebers, bei der Ausgleichskasse nach allfälligen offenen Beitragsforderungen zu fragen (Urteil 9C_647/2009 vom 15. April 2010 E. 4.2.2 mit Hinweisen), noch ist die Verwaltung - insbesondere nicht aufgrund von <ref-law> - verpflichtet, die Organe persönlich bei wachsenden Beitragsausständen zu benachrichtigen. Gegen ein solches Vorgehen spricht vorab, dass die den Organen der Arbeitgeber obliegenden Sorgfaltspflichten in Bezug auf Abrechnung und Bezahlung der Beiträge auf den Löhnen der Arbeitnehmer klar geregelt sind und als bekannt zu gelten haben. Kommt zu dem damit verbundenen administrativen Aufwand hinzu, dass damit häufig nicht alle Personen, denen Organstellung zukommt (vgl. dazu Urteil 9C_535/2008 vom 3. Dezember 2008 E. 2), erreicht werden könnten. Der Ausgleichskasse kann im Übrigen auch nicht vorgeworfen werden, das Beitragsinkasso zu wenig resolut vorangetrieben zu haben, was unter Umständen ebenfalls eine Reduktion der Schadensersatzsumme rechtfertigen könnte. Dabei kann offenbleiben, ob in diesem Zeitpunkt die Voraussetzungen für ein Vorgehen nach <ref-law> gegeben gewesen wären (vgl. E. 2.2 in fine). Insbesondere hatte die Verwaltung in allen Pfändungen rechtzeitig das Verwertungsbegehren gestellt (<ref-law>).
5. Der Beschwerdeführer rügt, dass die Ausgleichskasse nicht auch gegen die für den Schaden hauptverantwortlichen anderen beiden Gesellschafter eine Schadenersatzverfügung erlassen habe, vereitle jedes Regressrecht. Es bestehe keine Verfügung, die sie als solidarisch mithaftend erfasse, weshalb auch keine Rechtsgrundlage für ein zivilrechtliches Vorgehen (Solidaritätsregress) ihnen gegenüber bestehe. Dieser Einwand ist offensichtlich unbegründet (vgl. <ref-ruling> E. 3.1 S. 308, 133 III 116 E. 4.2 S. 118 und 132 III 523 E. 4.1 und 4.2 S. 526 f.). Entgegen der in der Stellungnahme zu den Betreibungs- und Konkursakten der Ausgleichskasse geäusserten Auffassung ist eine allfällige Verwirkung des Schadenersatzanspruchs gegenüber anderen nicht ins Recht gefassten potenziellen Schadenersatzpflichtigen im Rückgriffsverhältnis unbeachtlich.
6. Der Beschwerdeführer hat als unterliegende Partei die Gerichtskosten zu tragen (<ref-law>) und er hat keinen Anspruch auf Parteientschädigung (<ref-law>). Zwar hat die Ausgleichskasse erst im letztinstanzlichen Verfahren in Bezug auf die in der vorinstanzlichen Beschwerde aufgeworfene, verjährungsrechtlich bedeutsame Frage, ob definitive Pfändungsverlustscheine vorliegen, Klarheit geschaffen. Aufgrund seiner Vorbringen hätte der Beschwerdeführer jedoch die Sache auch dann ans Bundesgericht weitergezogen, wenn die Verwaltung die in diesem Verfahren eingeholten Betreibungs- und Konkursakten bereits bei der Vorinstanz eingereicht hätte. Die Ausgleichskasse hat daher nicht in Anwendung des Verursacherprinzips (Art. 66 Abs. 3 und Art. 68 Abs. 4 BGG) Gerichtskosten zu tragen oder dem Beschwerdeführer eine Parteientschädigung zu bezahlen.
7. Der Beschwerdeführer beantragt unentgeltliche Rechtspflege im Verfahren vor dem Bundesgericht.
7.1 Nach Gesetz (Art. 64 Abs. 1 und 2 BGG) und Praxis sind in der Regel die Voraussetzungen für die Bewilligung der unentgeltlichen Rechtspflege erfüllt, wenn der Prozess nicht aussichtslos erscheint, die Partei bedürftig und eine anwaltliche Vertretung notwendig oder doch geboten ist (<ref-ruling> Erw. 4a S. 202; Urteil 9C_617/2009 vom 15. Januar 2010 E. 6.1).
7.2 7.2.1 Bedürftig im Sinne von <ref-law> ist eine Person, wenn sie ohne Beeinträchtigung des für sie und ihre Familie nötigen Lebensunterhaltes nicht in der Lage ist, die Prozesskosten zu bestreiten (<ref-ruling> E. 2.5.1 S. 232). Dabei sind die Einkommens- wie die Vermögensverhältnisse zu berücksichtigen (<ref-ruling> E. 3b S. 98) und zwar beider Ehegatten (<ref-ruling> E. 3a S. 12; Urteile 8C_173/2009 vom 22. Juli 2009 E. 6.1.1 und 9C_21/2007 vom 17. Januar 2008 E. 4.1).
7.3 Aufgrund der eingereichten Unterlagen ergeben sich für die Berechnung des prozessualen Notbedarfs Einnahmen von monatlich Fr. 6'559.95.- (Nettoeinkommen des Beschwerdeführers und seiner Ehefrau). Bei den Auslagen anzurechnen sind Fr. 2'563.- (Total Grundbeträge bei einem Kind), Fr. 2'160.- (Mietzins zuzüglich Nebenkosten), Fr. 573.55.- (Sozialbeiträge). Das ergibt die Summe von Fr. 5'296.55. Weiter werden Abzahlungsverpflichtungen von Fr. 699.30 und Betriebskosten von Fr. 200.- für zwei Autos geltend gemacht. Diese Ausgaben können lediglich berücksichtigt werden, wenn die Fahrzeuge für die Zurücklegung des Arbeitsweges oder die Berufsausübung unabdingbar sind (Urteil 8C_964/2008 vom 1. September 2009 E. 5). Inwiefern das zutrifft, wird im Gesuch nicht dargelegt. Unter diesen Umständen und da bei einer Anrechnung des vollen Betrages von Fr. 899.30 immer noch ein Überschuss von Fr. 364.10 monatlich resultiert, ist dem Beschwerdeführer die Tilgung der Prozesskosten allenfalls in monatlichen Raten zumutbar (Urteil 9C_815/2007 vom 20. Februar 2008 E. 3.3).
Die Voraussetzung der Bedürftigkeit für die Bewilligung der unentgeltlichen Rechtspflege ist somit nicht gegeben.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 3'000.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juni 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler