Sachverhalt:
A. Mit Verfügung vom 15. August 2008 verpflichtete die Ausgleichskasse des Kantons Zürich S._ als geschäftsführenden Gesellschafter der Firma X._ GmbH zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (inkl. Verzugszinsen und Gebühren) in der Höhe von Fr. 55'567.25, woran sie auf Einsprache hin festhielt (Entscheid vom 15. Oktober 2008).
B. Die von S._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. März 2010 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben; eventualiter sei die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen (BSV) verzichten auf eine Stellungnahme.

Erwägungen:
1. Die Vorinstanz hat die Voraussetzungen der subsidiären Haftung der Organe eines Arbeitgebers nach Art. 52 AHVG und der dazu ergangenen Rechtsprechung (Organstellung, Schaden, Widerrechtlichkeit, Verschulden, Kausalität, Nichtverwirkung) zutreffend wiedergegeben. Darauf wird verwiesen. Zu ergänzen ist, dass gemäss ständiger Rechtsprechung nicht jede Verletzung der öffentlichrechtlichen Aufgaben der Arbeitgeber als Institution der Versicherungsdurchführung ohne weiteres als qualifiziertes Verschulden ihrer Organe im Sinne von Art. 52 AHVG zu werten ist. Das absichtliche oder grobfahrlässige Missachten von Vorschriften verlangt vielmehr einen Normverstoss von einer gewissen Schwere. Dagegen kann beispielsweise die relativ kurze Dauer des Beitragsausstandes sprechen, wobei aber immer eine Würdigung sämtlicher konkreter Umstände des Einzelfalles Platz zu greifen hat. Die Frage der Dauer des Normverstosses ist somit ein Beurteilungskriterium, welches im Rahmen der Gesamtwürdigung zu berücksichtigen ist und im Sinne der Rechtsprechung zu den Entlastungsgründen zur Verneinung der Schadenersatzpflicht führen kann (<ref-ruling> E. 4b S. 244; <ref-ruling> f. E. 1b; <ref-ruling> f. E. 1). Zudem dürfen die Nichtabrechnung wie auch die Nichtbezahlung der Beiträge als solche nicht einem qualifizierten Verschulden gleichgesetzt werden, weil dies auf eine nach Gesetz und Rechtsprechung unzulässige, da in Art. 52 AHVG gerade nicht vorgesehene Kausalhaftung hinausliefe, sondern es sind auch in dieser Hinsicht die gesamten Umstände zu würdigen (vgl. ZAK 1985 S. 51 E. 2a mit Hinweisen; Urteil des Eidgenössischen Versicherungsgerichtes H 53/03 vom 8. März 2004 E. 3.3.2).
2. Materiell streitig ist, ob der Beschwerdeführer für die Beitragsausstände der Gesellschaft haftbar gemacht werden kann.
2.1 Die Firma X._ GmbH bezahlte laut Auszug des Beitragskontos (Art. 152 AHVV) letztmals am 2. April 2007 Sozialversicherungsbeiträge, wobei es sich um eine Akontozahlung für die Beiträge des Jahres 2006 handelte. Die am 8. März 2007 ausgestellte EDV-Rechnung der Lohnbeiträge 2007 und die nachfolgenden Beitragsrechnungen blieben unbezahlt. Darunter fallen namentlich die für das Jahr 2007 geschuldeten Beiträge sowie Nachzahlungen betreffend früherer Jahre (EDV-Rechnung vom 16. November 2007) sowie eine Ausgleichsforderung für 2006 (EDV-Rechnungen vom 27. April 2007). Gemäss diesen Feststellungen und mit Blick auf die Konkurseröffnung am 5. Juli 2007 ist die Unternehmung erst seit Anfang 2007 und damit während einer relativ kurzen Dauer der Beitragszahlungspflicht nicht nachgekommen (Beiträge 2007), was rechtsprechungsgemäss die Grobfahrlässigkeit ausschliessen kann (vgl. E. 1 hievor). Darüber hinaus ist in der definitiven Abrechnung der Löhne des Jahres 2006 erst im Jahr 2007 und der daraus resultierenden Ausgleichsforderung im Rahmen zuvor erfolgter Akontozahlungen (Art. 35 und Art. 36 AHVV) keine grobfahrlässige Schadenszufügung zu sehen, wird damit doch in Kauf genommen, dass der Arbeitgeber je nach den Umständen vorübergehend zu geringe oder zu hohe Akontozahlungen vornimmt (Urteil des Eidgenössischen Versicherungsgerichts H 75/90 vom 27. Januar 1993 E. 4c, publ. in: AHI 1993 S. 165). Sodann teilte der Beschwerdeführer zwar die definitiven Löhne für das Jahr 2006 nicht innert 30 Tagen nach Ablauf der Abrechnungsperiode mit (Art. 36 Abs. 2 AHVV); hingegen hat die Ausgleichskasse während den früheren Jahren die verspäteten Lohnmeldungen jeweils ohne weiteres akzeptiert, was auch für die Änderungen der Lohnsummen im Sinne von Art. 36 Abs. 2 AHVV gilt (vgl. erwähntes Urteil H 53/03 E. 3.3.2). Diese Tatsachen stehen hier einer qualifiziert schuldhaften Verletzung der Beitragsabrechnungs- und -zahlungspflicht entgegen. Der Umstand, dass früher die Firma gemahnt und betrieben worden war, ist nicht schadenskausal.
2.2 Hinzu kommt, dass die Unternehmung bis Ende 2006 eine gesunde Bilanz aufwies und namentlich keine Liquiditätsprobleme hatte. Der Konkurs ist nach den Feststellungen im angefochtenen Entscheid deshalb eingetreten, weil die Firma im Jahr 2006 wegen einem bevorstehenden Grossauftrag Personal eingestellt hat; der Auftrag später jedoch verschoben worden ist, worauf sich durch die während der Kündigungsfrist zu zahlenden Löhne die Liquidität nachhaltig verschlechterte. Unter diesen Umständen steht fest, dass die Unternehmung in relativ kurzer Zeit in eine schwierige finanzielle Lage geriet (welcher der Beschwerdeführer mit dem Einbringen eigener Mittel in der Höhe von Fr. 125'000.- erfolglos zu begegnen versuchte). In Anbetracht des kurzen Zeitraums bestand keine Möglichkeit, die Liquidität durch vertragskonforme Entlassungen zu verbessern (<ref-ruling> E. 3b S. 254). Mit Blick auf die gesamten konkreten Umstände ist ein qualifiziertes Verschulden zu verneinen. Die Beschwerde ist begründet.
3. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. März 2010 und der Einspracheentscheid der Ausgleichskasse des Kantons Zürich vom 15. Oktober 2008 werden aufgehoben.
2. Die Gerichtskosten von Fr. 4'000.- werden der Beschwerdegegnerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. September 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin