Sachverhalt:
A. E._ war vom 21. April 2004 bis im Januar 2006 als Gesellschafter mit einem Stammanteil von Fr. 20'000.- sowie als Geschäftsführer mit Einzelunterschrift der X._ GmbH im Handelsregister eingetragen. Im August 2007 eröffnete der Konkursrichter des Bezirksgerichts Y._ den Konkurs über die Gesellschaft. Mit Verfügung vom 9. April 2008 verpflichtete die Ausgleichskasse des Kantons Zürich E._ nebst zwei weiteren Solidarhaftpflichtigen zur Bezahlung von Schadenersatz in der Höhe von Fr. 131'119.-. Mit Einspracheentscheid vom 12. Juni 2008 reduzierte sie die Schadenersatzforderung auf Fr. 32'913.80.
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. August 2010 ab.
C. E._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei die Sache an das kantonale Gericht zwecks Neuentscheidung im Sinne der Erwägungen zurückzuweisen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (SEILER/VON WERDT/GÜNGERICH, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N. 24 zu Art. 97).
2. Nach <ref-law>, welcher sinngemäss auch im Bereich der Invalidenversicherung (<ref-law>), der Erwerbsersatzordnung (<ref-law>, SR 834.1), der Arbeitslosenversicherung (<ref-law>, SR 837.0) und der kantonalrechtlichen Familienzulagen (Art. 33 des bis Ende 2007 gültig gewesenen Kinderzulagengesetzes vom 8. Juni 1958, ZH-Lex 836.1; vgl. nicht veröffentlichtes Urteil 2P.251/1996 vom 30. Juni 1997 E. 2) Anwendung findet, hat ein Arbeitgeber, der durch absichtliche oder grobfahrlässige Missachtung von Vorschriften einen Schaden verschuldet, diesen der Ausgleichskasse zu ersetzen. Ist der Arbeitgeber eine juristische Person, so können subsidiär gegebenenfalls die verantwortlichen Organe in Anspruch genommen werden (<ref-ruling>; <ref-ruling>; <ref-ruling> E. 5b S. 15; je mit Hinweisen). Haftungsvoraussetzungen sind Organstellung, Schaden, Widerrechtlichkeit, zweistufiges Verschulden, Kausalität und Nichtverwirkung/ Nichtverjährung.
3. 3.1 Das kantonale Gericht stellte in tatsächlicher Hinsicht fest, mit der Löschung im Januar 2006 als Gesellschafter und Geschäftsführer im Handelsregister entfalle die Haftbarkeit des Beschwerdeführers ab diesem Datum. Die Teilforderungen von Fr. 1'570.45 und Fr. 13'962.35 für die in den Monaten April bis Dezember 2005 ausgebliebenen Zahlungen seien klarerweise ausgewiesen. Die Schlussrechnung 2005 im Betrag von Fr. 17'381.- sei demgegenüber erst am 17. Februar 2006 gestellt worden und damit zu einem Zeitpunkt, als der Beschwerdeführer nicht mehr für die Geschicke der Firma verantwortlich gewesen sei. Die Ausgleichskasse habe für das Jahr 2005 basierend auf der Jahresabrechnung 2004 vom 17. Januar 2005 mit einem deklarierten Lohnvolumen von Fr. 435'126.60 ihre quartalsweisen Akontorechnungen gestellt. Mit der Jahresrechnung 2005 vom 27. Januar 2006 seien dann aber Löhne in der Höhe von Fr. 742'720.20 ausgewiesen. Dass die Firma im Laufe des Jahres 2005 diese massive (über 70 % liegende) Änderung der Lohnsumme gemeldet hätte, sei den Akten nicht zu entnehmen. Dies stelle eine klare Pflichtverletzung (vgl. <ref-law>) dar, welche während der Zeit erfolgt sei, als der Beschwerdeführer noch verantwortlich gezeichnet habe. Deshalb sei er für diesen Teil des Schadens (Nachforderung aufgrund der Schlussrechnung 2005 von Fr. 17'381.-) ebenfalls verantwortlich, weshalb die ihn betreffende Schadenshöhe Fr. 32'913.80 betrage. Dem Kontoauszug der Ausgleichskasse sei zu entnehmen, dass die Firma die Beiträge quartalsweise im Pauschalverfahren abzuliefern hatte. Die erste Beitragszahlung für das Jahr 2004 sei zeitgerecht erfolgt, indes habe bereits die zweite Quartalszahlung gemahnt werden müssen. Die dritte Zahlung (für das letzte Quartal 2004) sei wiederum rechtzeitig erfolgt, aber schon die nächste Zahlung (Jahresschlussrechnung 2004) habe erneut gemahnt werden müssen und sei mit erheblicher Verspätung erst im September/Oktober 2005 beglichen worden. Ab Januar 2005 seien die Beiträge dann mit erheblicher Verspätung bezahlt und die Zahlungen schliesslich ganz eingestellt worden. Mit diesem Verhalten sei die Gesellschaft ihren Pflichten als Arbeitgeberin nicht nachgekommen und habe öffentlich-rechtliche Vorschriften missachtet. Der Beschwerdeführer sei seit April 2004 als Gesellschafter und Geschäftsführer mit Einzelunterschrift im Handelsregister eingetragen gewesen. Damit habe er sich die Handlungen der Konkursitin unmittelbar anrechnen zu lassen, obwohl es auch bei einer GmbH grundsätzlich möglich sei, gewisse Aufgaben wie die Buchhaltung zu delegieren. Wer als Gesellschafter und Geschäftsführer einer GmbH amte, handle grobfahrlässig, wenn er die Kontrollpflichten nicht wahrnehme. Als Geschäftsführer der Gesellschaft hätte der Beschwerdeführer dafür besorgt sein müssen, dass die Sozialversicherungsbeiträge, welche immerhin zur Hälfte den Arbeitnehmern vom Lohn abgezogen worden seien, abgeliefert werden oder die entsprechenden Handlungen selber ausführen müssen. Indem er dies unterlassen habe, habe er den Schaden der Ausgleichskasse zumindest grobfahrlässig herbeigeführt. Den Austritt des Beschwerdeführers aus der Firma im Januar 2006 habe die Ausgleichskasse rechtsprechungskonform berücksichtigt und habe keinen Ersatz für den nach Januar 2006 entstandenen Schaden verlangt. Hingegen erweise sich das Auferlegen der Schadenersatzpflicht für die Schlussrechnung 2005, obwohl erst im Februar 2006 gestellt, als rechtens. Bei seinem Firmenaustritt habe die Gesellschaft nicht mehr über flüssige Mittel verfügt und sei Ende 2005 überschuldet gewesen. Schliesslich müsse er sich vorhalten lassen, dass er die Zahlungsvereinbarung mit der Ausgleichskasse nicht eingehalten habe.
3.2 Das kantonale Gericht hat verbindlich festgestellt, dass die Arbeitgeberin im Laufe des Jahres 2004 die geschuldeten Akontozahlungen nur schleppend bezahlt hat und die wesentliche Erhöhung der Lohnsumme im Jahre 2005 der Ausgleichskasse nicht gemeldet hat. Daraus hat das kantonale Gericht geschlossen, die konkursite Gesellschaft habe gegen die Beitragszahlungs- und Abrechnungspflicht (vgl. Art. 34, Art. 35 Abs. 2, 36 Abs. 2 und 3 AHVV) verstossen und dadurch Vorschriften im Sinne von <ref-law> missachtet. Dieses widerrechtliche Verhalten und Verschulden der Arbeitgeberin hat das kantonale Gericht zu Recht auch dem Beschwerdeführer, welcher als Geschäftsführer mit Einzelunterschrift geamtet hat, angesichts der kurz nach Firmengründung einsetzenden schleppenden Bezahlung der Beiträge und der unterbliebenen Meldung der im Laufe des Jahres 2005 stark gestiegenen Salärsumme angesichts der in <ref-law> statuierten Meldepflicht zu Recht als grobfahrlässiges Verhalten angerechnet.
3.3 Der Beschwerdeführer bringt in der Beschwerde nichts vor, was die tatsächlichen Feststellungen der Vorinstanz als mangelhaft im Sinne von <ref-law> oder die Qualifikation des Verhaltens des Beschwerdeführers als grobfahrlässig im Sinne von <ref-law> als bundesrechtswidrig erscheinen lassen. Dass die Beiträge für das Jahr 2004 vollends und diejenigen für das Jahr 2005 teilweise bezahlt wurden, wurde bei der Bemessung des Schadenersatzbetrags berücksichtigt, schliesst aber eine Grobfahrlässigkeit in Bezug auf die unbezahlt gebliebenen Beiträge nicht aus. Der Umstand, dass die Schadenersatzforderung gegenüber dem Solidarhaftpflichtigen Z._ rechtskräftig und vollstreckbar sein soll, ist ebenso unbehelflich wie der Einwand, dass die Beschwerdegegnerin die Einsprache in Bezug auf einen grossen Teil des ursprünglich geltend gemachten Schadens gutgeheissen hat. In letzterem Punkt hat die Ausgleichskasse zu Recht dem im Januar 2006 erfolgten Ausscheiden aus der Firma Rechnung getragen. Für die bis zu diesem Zeitpunkt geschuldeten und unbezahlt gebliebenen Beiträge haftet der Beschwerdeführer aufgrund seiner Organstellung in der konkursiten Arbeitgeberin (vgl. auch Urteil 9C_145/2010 vom 15. Juni 2010 E. 5.3 ff., SVR 2010 AHV Nr. 14). Dies gilt unter den hier vorliegenden Umständen auch für die erst nach seinem Austritt aus der Firma erstellte Jahresschlussrechnung 2005: weil die GmbH, für welche der Beschwerdeführer als verantwortlicher Geschäftsführer handelte, die wesentlich geänderte Lohnsumme nicht meldete, wurden die Pauschalzahlungsbeträge unter dem Jahr nicht angepasst, so dass letztlich eine unbezahlt gebliebene Differenz von Fr. 17'381.- resultierte. Des Weitern ist die Feststellung der Vorinstanz, die Gesellschaft sei Ende 2005 überschuldet gewesen, nicht offensichtlich unrichtig. Dass zu diesem Zeitpunkt noch flüssige Mittel von Fr. 30'189.40 vorhanden gewesen sein sollen, vermag den Beschwerdeführer nicht zu entlasten, wurden doch damit weder die zu diesem Zeitpunkt offenen Beiträge bezahlt noch hätte der Betrag für die bis Ende 2005 geschuldeten Beiträge (inkl. Nachforderung aufgrund der Schlussrechnung 2005) von Fr. 32'913.80 gereicht.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, H._, Z._, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Dezember 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer