Sachverhalt:
A. Die C._ GmbH war der Ausgleichskasse des Kantons Zürich als beitragspflichtige Arbeitgeberin angeschlossen. Entsprechend den Eintragungen im Handelsregister oblag die alleinige Geschäftsführung bis am 12. Juli 2002 K._, anschliessend V._, vom 21. November 2003 bis 18. März 2004 F._ und danach wiederum V._. Über die Gesellschaft wurde im März 2005 der Konkurs eröffnet; im Mai 2005 wurde das Verfahren mangels Aktiven eingestellt. Mit Verfügung vom 23. März 2006 verpflichtete die Ausgleichskasse des Kantons Zürich F._ zur Bezahlung von Schadenersatz für entgangene Beiträge in der Höhe von Fr. 25'324.45. Mit Einspracheentscheid vom 11. Mai 2006 reduzierte sie den Betrag auf Fr. 22'112.85.
B. Die von F._ dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich nach Beiladung von K._ und V._ mit Entscheid vom 29. Januar 2008 ab.
C. F._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Rechtsbegehren, der Entscheid vom 29. Januar 2008 sowie der Einspracheentscheid seien aufzuheben und es sei festzustellen, dass "keine Rückforderung" bestehe. Ferner ersucht er um unentgeltliche Prozessführung.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde. K._ und V._ lassen sich nicht vernehmen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.

Erwägungen:
1. Die II. sozialrechtliche Abteilung ist zuständig für den Entscheid über die streitige Schadenersatzpflicht nach <ref-law> (<ref-law> sowie Art. 35 lit. a des Reglements für das Bundesgericht vom 20. November 2006 [BGerR; SR 173.110.131]). Nach <ref-law> fällt die kantonale Sozialversicherung zwar in die Zuständigkeit der I. sozialrechtlichen Abteilung. Es ist indessen aus prozessökonomischen Gründen sinnvoll, dass die II. Abteilung auch über die Schadenersatzpflicht entscheidet, soweit sie entgangene Sozialversicherungsbeiträge nach kantonalem Recht betrifft (Urteil 9C_465/2007 vom 20. Dezember 2007).
2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
3. 3.1 Nach <ref-law>, welcher sinngemäss auch im Bereich der Invalidenversicherung (<ref-law>), der Erwerbsersatzordnung (<ref-law>, SR 834.1), der Arbeitslosenversicherung (<ref-law>, SR 837.0) und der kantonalrechtlichen Familienzulagen (Art. 33 des Kinderzulagengesetzes vom 8. Juni 1958, ZH-Lex 836.1; vgl. nicht veröffentlichtes Urteil 2P.251/1996 vom 30. Juni 1997 E. 2) Anwendung findet, hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen. Ist der Arbeitgeber eine juristische Person, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden (<ref-ruling>; <ref-ruling>; <ref-ruling> E. 5b S. 15; je mit Hinweisen).
3.2 Streitig und zu prüfen ist die Haftung des Beschwerdeführers als ehemaliger Geschäftsführer der in Konkurs gefallenen Gesellschaft sowie, bei deren Bejahung, von allfälligen Gründen für die Herabsetzung der daraus resultierenden Ersatzpflicht.
4. Der Beschwerdeführer macht geltend, bei seinem Austritt aus der Geschäftsführung habe das Bankkonto der Gesellschaft - nach Zahlung aller ihm bekannten Rechnungen - noch einen Saldo von über Fr. 50'000.- ausgewiesen, weshalb die ausstehenden Beiträge damals leicht hätten bezahlt werden können. Die Beitragszahlung habe seinem Vorgänger und Nachfolger in der Verwaltung, V._, oblegen. Diesen habe die Ausgleichskasse begünstigt, indem sie willkürlich nur den Beschwerdeführer zur Verantwortung gezogen habe. Wegen des mangelhaften und gesetzeswidrigen Mahnverhaltens der Ausgleichskasse habe er gar keine Kenntnis von den Ausständen gehabt. Ausserdem sei eine aufgrund der Eröffnungsdeklaration vom 6. Juni 2002 erstellte Rechnung nach deren Bezahlung von der Ausgleichskasse zurückerstattet worden.
4.1 Nach der Rechtsprechung haften mehrere nach <ref-law> Schadenersatzpflichtige solidarisch. Die solidarische Haftung erlaubt der Ausgleichskasse, gegen alle oder lediglich einige von ihnen, allenfalls nur einen Einzelnen, vorzugehen (<ref-ruling> E. 3.1 S. 308 f. mit Hinweisen). Als Solidarschuldner hat jedes einzelne Organ für den ganzen Schaden einzustehen, und die Ausgleichskasse braucht sich um die internen Beziehungen zwischen ihnen nicht zu kümmern (<ref-ruling> E. 5a S. 87; AHI 1996 S. 291, H 195/95 E. 6). Das Verhalten eines von mehreren haftpflichtigen Organen vermag daher ein anderes Organ gegenüber der Ausgleichskasse nur in ausgesprochenen Ausnahmefällen zu entlasten; so etwa, wenn das Verschulden des in Anspruch genommenen Haftpflichtigen als so leicht erscheint und in einem derartigen Missverhältnis zum Verschulden des Dritten steht, dass es offensichtlich ungerecht wäre, wenn jener den ganzen Schaden tragen müsste (SVR 2008 AHV Nr. 5 S. 13, H 207/06 E. 4.2.2 mit Hinweisen). Eine solche Sachlage ist im vorliegenden Fall aus den nachstehend dargelegten Gründen (E. 4.3) nicht gegeben. Ob die Ausgleichskasse den Schaden auch gegenüber dem im vorinstanzlichen Verfahren beigeladenen V._ geltend gemacht hat, ist angesichts der Solidarität in der Haftung nicht von Belang, weshalb das nur gegen den Beschwerdeführer gerichtete Vorgehen nicht als willkürlich bezeichnet werden kann.
4.1 Nach der Rechtsprechung haften mehrere nach <ref-law> Schadenersatzpflichtige solidarisch. Die solidarische Haftung erlaubt der Ausgleichskasse, gegen alle oder lediglich einige von ihnen, allenfalls nur einen Einzelnen, vorzugehen (<ref-ruling> E. 3.1 S. 308 f. mit Hinweisen). Als Solidarschuldner hat jedes einzelne Organ für den ganzen Schaden einzustehen, und die Ausgleichskasse braucht sich um die internen Beziehungen zwischen ihnen nicht zu kümmern (<ref-ruling> E. 5a S. 87; AHI 1996 S. 291, H 195/95 E. 6). Das Verhalten eines von mehreren haftpflichtigen Organen vermag daher ein anderes Organ gegenüber der Ausgleichskasse nur in ausgesprochenen Ausnahmefällen zu entlasten; so etwa, wenn das Verschulden des in Anspruch genommenen Haftpflichtigen als so leicht erscheint und in einem derartigen Missverhältnis zum Verschulden des Dritten steht, dass es offensichtlich ungerecht wäre, wenn jener den ganzen Schaden tragen müsste (SVR 2008 AHV Nr. 5 S. 13, H 207/06 E. 4.2.2 mit Hinweisen). Eine solche Sachlage ist im vorliegenden Fall aus den nachstehend dargelegten Gründen (E. 4.3) nicht gegeben. Ob die Ausgleichskasse den Schaden auch gegenüber dem im vorinstanzlichen Verfahren beigeladenen V._ geltend gemacht hat, ist angesichts der Solidarität in der Haftung nicht von Belang, weshalb das nur gegen den Beschwerdeführer gerichtete Vorgehen nicht als willkürlich bezeichnet werden kann.
4.2 4.2.1 Die subsidiäre Organhaftung stellt keine Kausalhaftung dar, sondern setzt immer ein qualifiziertes Verschulden mindestens in Form von grober Fahrlässigkeit voraus (Urteil 9C_465/2007 vom 20. Dezember 2007 E. 6 und Urteil des Eidg. Versicherungsgerichts H 211/04 vom 17. März 2005 E. 2 mit Hinweisen). Die Ausgleichskasse, welche feststellt, dass sie einen durch Missachtung von Vorschriften entstandenen Schaden erlitten hat, darf davon ausgehen, dass der Arbeitgeber oder dessen Organ die Vorschriften absichtlich oder mindestens grobfahrlässig verletzt hat, sofern keine Anhaltspunkte für die Rechtmässigkeit des Handelns oder die Schuldlosigkeit des Arbeitgebers bestehen (<ref-ruling> E. 1b S. 187; Urteil des Eidg. Versicherungsgerichts H 211/04 vom 17. März 2005 E. 6.1).
4.2.2 Das Verhalten der Ausgleichskasse ist grundsätzlich ohne Einfluss auf die sich unmittelbar aus dem Gesetz ergebenden Abrechnungs- und Zahlungspflichten des Arbeitgebers (vgl. <ref-law> in Verbindung mit <ref-law> und <ref-law>), welchen dieser in der Funktion eines Organs der Sozialversicherung unterliegt (ULRICH MEYER, Die Rechtsprechung des Eidgenössischen Versicherungsgerichts zur Arbeitgeberhaftung in: Temi scelti di diritto delle assicurazioni sociali, 2006, S. 25 ff., Rz. 5). Eine Verschuldenskompensation fällt deshalb nicht in Betracht (AHI 1994 S. 102, H 217/92 E. 6 mit Hinweis; Urteil des Eidg. Versicherungsgerichts H 307/94 vom 6. Juni 1995 E. 4b), und auch den Kausalzusammenhang zwischen dem pflichtwidrigen Verhalten des Arbeitgebers oder dessen Organes und dem eingetretenen Schaden vermag ein Mit- oder Selbstverschulden der Ausgleichskasse nicht zu unterbrechen (AHI 1994 S. 102, H 217/92 E. 6; MARCO REICHMUTH, Die Haftung des Arbeitgebers und seiner Organe nach <ref-law>, 2008, Rz. 748).
4.2.3 Ist eine grobe Pflichtverletzung der Ausgleichskasse wie die Missachtung elementarer Vorschriften der Beitragsveranlagung und des Beitragsbezuges für die Entstehung oder Verschlimmerung des Schadens adäquat kausal, kann der Schadenersatz ermessensweise herabgesetzt werden (vgl. <ref-law> und Art. 4 des Bundesgesetzes vom 14. März 1958 über die Verantwortlichkeit des Bundes sowie seiner Behördemitglieder und Beamten [VG, SR 170.32]; <ref-ruling> E. 3c S. 189; Urteil H 18/07 vom 26. November 2007 E. 5.3).
4.2.3 Ist eine grobe Pflichtverletzung der Ausgleichskasse wie die Missachtung elementarer Vorschriften der Beitragsveranlagung und des Beitragsbezuges für die Entstehung oder Verschlimmerung des Schadens adäquat kausal, kann der Schadenersatz ermessensweise herabgesetzt werden (vgl. <ref-law> und Art. 4 des Bundesgesetzes vom 14. März 1958 über die Verantwortlichkeit des Bundes sowie seiner Behördemitglieder und Beamten [VG, SR 170.32]; <ref-ruling> E. 3c S. 189; Urteil H 18/07 vom 26. November 2007 E. 5.3).
4.3 4.3.1 Die Vorinstanz hat das Verhalten des Beschwerdeführers als grobfahrlässig beurteilt und den Kausalzusammenhang mit dem eingetretenen Schaden bejaht. In Bezug auf Rechtfertigungs- oder Schuldausschlussgründe hat sie erwogen, die verhältnismässig lange Dauer des Normverstosses stehe der Annahme entlastender Momente entgegen. Der Fortbestand des Unternehmens habe nicht von einem vorübergehenden Nichtbezahlen der Sozialversicherungsbeiträge ab-gehangen. Der Beschwerdeführer sei als einzelzeichnungsberechtigter Geschäftsführer gehalten gewesen, die Pflichten der Gesellschaft gegenüber der Ausgleichskasse zu erfüllen. Bei deren finanziellen Schwierigkeiten hätte er die Beiträge nötigenfalls sicherstellen müssen. Er sei von V._ über die Ausstände nicht in strafrechtlich relevanter Weise hinters Licht geführt worden und eine Unkenntnis des Beitragswesens sei in Anbetracht der einfachen Organisationsstruktur als Verletzung der ihm obliegenden Aufsichts- und Kontrollpflichten zu qualifizieren. Er hätte dafür sorgen müssen, dass die Jahresabrechnungen bis spätestens 30. Januar 2004 eingereicht worden wären.
4.3.2 Es ist weder ersichtlich noch macht der Beschwerdeführer geltend, dass er sich als Geschäftsführer in irgend einer Weise um die gesetzlichen Arbeitgeberpflichten der Gesellschaft gekümmert hat (vgl. MARCO REICHMUTH, a.a.O., Rz. 590 ff.), obwohl ihm bekannt war, dass beitragspflichtige Löhne ausbezahlt wurden. Stichhaltige Entlastungsgründe für dieses Verhalten liegen keine vor: Bei den gegebenen einfachen Verhältnissen und unter Berücksichtigung der Tatsache, dass der Beschwerdeführer bereits vor der Übernahme der Geschäftsführung am 21. November 2003 als Arbeitnehmer beschäftigt und daher mit den Verhältnissen vertraut war, kann die ihm grundsätzlich zuzugestehende Einarbeitungszeit keinesfalls auf mehr als einige Wochen veranschlagt werden, zumal das Jahresende in den fraglichen Zeitraum gefallen ist, bei welchem jeweils buchhalterische Abschlussarbeiten und jährlich zu erfüllende Pflichten anfallen. In Bezug auf die Rolle von V._ ist festzuhalten, dass weder eine blosse Pro-forma-Übernahme der Geschäftsführung (<ref-ruling> E. 2b; Urteile des Eidg. Versicherungsgerichts H 85/03 vom 23. Juni 2003 E. 3.1; H 186/05 vom 24. Juli 2006 E. 4 mit Hinweisen) noch die gesellschaftsinterne Organisation und Aufgabenteilung (vgl. Urteil H 182/06 vom 29. Januar 2008 E. 6.1) oder die Missachtung der Arbeitgeberpflichten durch einen Dritten (E. 4.1) einen zulässigen Entlastungsgrund darstellt. Schliesslich spricht ebenfalls nicht zu Gunsten des Beschwerdeführers, dass nach seiner Angabe die Gesellschaft bei seinem Austritt aus der Geschäftsführung über genügend liquide Mittel für die Bezahlung der ausstehenden Beiträge verfügte, zumal er trotz Vermeidbarkeit des Schadens untätig blieb. Der Beschwerdeführer hat daher die gesetzlichen Arbeitgeberpflichten der Gesellschaft grobfahrlässig missachtet.
4.3.3 Andere Gründe, welche gegen die Haftung des Beschwerdeführers sprechen, sind nicht ersichtlich und werden auch nicht geltend gemacht.
4.4 Nach nicht offensichtlich unrichtiger Feststellung der Vorinstanz (E. 2) wurden die Jahresabrechnungen 2002 und 2003 am 1. Juni resp. 8. Juli 2004 und damit verspätet eingereicht. Das kantonale Gericht ist der Auffassung, deswegen falle eine grobe Pflichtverletzung der Verwaltung beim Beitragsbezug nicht in Betracht. Dem ist nicht beizupflichten. Aus den Akten geht hervor, dass die Gesellschaft am 6. Juni 2002 bei der Ausgleichskasse als beitragspflichtige Arbeitgeberin mit einer geschätzten monatlichen Lohnsumme von Fr. 8'000.- angemeldet wurde. Bis zum Ausscheiden des Beschwerdeführers am 18. März 2004 sind nur Mahnungen für die Jahresabrechnung 2002 und für Mahnkosten sowie ein E-Mail-Verkehr mit V._ aktenkundig. Die Verwaltung hat weder die mit der Mahnung vom 14. Juli 2003 angedrohten, gesetzlich vorgesehenen Massnahmen (vgl. <ref-law> und <ref-law>) getroffen, noch Akonto-Beiträge festgesetzt, eine Beitragsverfügung erlassen oder - von einer Ausnahme abgesehen - der Anmeldung entsprechende Rechnungen gestellt (vgl. <ref-law>, Art. 35 und 38 Abs. 1 IVV). Aus dem Kontoauszug vom 10. August 2006 ergibt sich, dass zwar die Beiträge für Juni 2002 mit Fr. 512.25 in Rechnung gestellt, später jedoch storniert und nach Zahlungseingang rückvergütet wurden. Immerhin wurde dieser Betrag nicht als Schaden geltend gemacht (E. 4.3.3). Mit diesem Verhalten hat die Ausgleichskasse gegen die elementaren Vorschriften der Veranlagung und des Bezuges von Beiträgen verstossen, die Pflichtverletzungen sind daher als grob zu bezeichnen. Ausserdem wäre der Schaden bei gesetzmässigem Vorgehen geringer ausgefallen oder gar zu vermeiden gewesen, weshalb diesbezüglich auch die adäquate Kausalität zu bejahen ist. Insgesamt rechtfertigt sich eine Herabsetzung des Schadenersatzes um die Hälfte.
5. 5.1 Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und 2 BGG). Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Parteien je hälftig aufzuerlegen (<ref-law>). Soweit dadurch nicht gegenstandslos geworden, kann dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege im Sinne einer Befreiung von der Bezahlung der Gerichtskosten entsprochen werden, da die Bedürftigkeit erstellt ist und die Beschwerde nicht als aussichtslos zu bezeichnen war (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
5.2 Ein Antrag auf Bestellung eines unentgeltlichen Anwaltes gemäss <ref-law> liegt nicht vor und der Beschwerdeführer ist nicht anwaltlich vertreten, weshalb ihm keine Parteientschädigung zuzusprechen ist (vgl. THOMAS GEISER, in: Basler Kommentar zum Bundesgerichtsgesetz, 2008, N 33 zu <ref-law> und N 4 zu <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Januar 2008 und der Einspracheentscheid der Ausgleichskasse vom 11. Mai 2006 werden aufgehoben. Es wird festgestellt, dass der Beschwerdeführer verpflichtet ist, der Beschwerdegegnerin Schadenersatz im Betrag von Fr. 11'056.40 zu leisten. Im Übrigen wird die Beschwerde abgewiesen.
2. Von den Gerichtskosten von Fr. 1'700.- werden dem Beschwerdeführer und der Beschwerdegegnerin je Fr. 850.- auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Gerichtskasse genommen.
3. Die Sache wird zur Neuverlegung der Parteientschädigung für das vorangegangene Verfahren an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Februar 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann