Sachverhalt:
A. P._ war bis 6. Dezember 2007 Mitglied des Verwaltungsrates der Firma X._ AG, die als beitragspflichtige Arbeitgeberin der Ausgleichskasse des Kantons Zürich angeschlossen war. Mit Verfügung des Konkursrichters vom 9. Juli 2008 wurde das am 17. März 2008 über die Firma X._ AG eröffnete Konkursverfahren mangels Aktiven eingestellt. Mit Verfügungen vom 18. Juni 2009 verpflichtete die Ausgleichskasse P._ und zwei weitere ehemalige Mitglieder des Verwaltungsrates der Konkursitin in solidarischer Haftung zur Bezahlung von Schadenersatz für entgangene Beiträge in der Höhe von Fr. 53'327.80, woran sie auf Einsprache hin mit Entscheid vom 26. August 2009 festhielt.
B. Die von den Belangten hiegegen eingereichten Beschwerden wies das Sozialversicherungsgericht des Kantons Zürich nach Vereinigung der Verfahren mit Entscheid vom 28. Februar 2011 ab.
C. P._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei festzustellen, dass er für den der Ausgleichskasse entstandenen Schaden nicht ersatzpflichtig sei; eventuell sei die Sache zur Durchführung einer öffentlichen mündlichen Verhandlung und zu neuer Entscheidung an das kantonale Gericht zurückzuweisen. Ferner ersucht er um die Anordnung der aufschiebenden Wirkung.
Die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Nach Art. 6 Ziff. 1 EMRK hat jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich und innerhalb einer angemessenen Frist von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht gehört wird, das über zivilrechtliche Ansprüche und Verpflichtungen oder über die Stichhaltigkeit der gegen ihn erhobenen strafrechtlichen Anklage zu entscheiden hat (Satz 1).
Nach der Rechtsprechung (<ref-ruling> E. 1 S. 280) stehen im vorliegenden Verfahren zivilrechtliche Ansprüche in Frage, auf welche Art. 6 Ziff. 1 EMRK anwendbar ist (<ref-ruling> E. 2a mit Hinweisen S. 50). Wie das Eidgenössische Versicherungsgericht in <ref-ruling> weiter erkannt hat, hat das kantonale Gericht, welchem es primär obliegt, die Öffentlichkeit der Verhandlung zu gewährleisten (E. 3 S. 54), bei Vorliegen eines klaren und unmissverständlichen Parteiantrages grundsätzlich eine öffentliche Verhandlung durchzuführen (E. 3a und b S. 55 f.). Von einer ausdrücklich beantragten öffentlichen Verhandlung kann abgesehen werden, wenn der Antrag der Partei als schikanös erscheint oder auf eine Verzögerungstaktik schliessen lässt und damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwider läuft oder sogar rechtsmissbräuchlich ist. Gleiches gilt, wenn sich ohne öffentliche Verhandlung mit hinreichender Zuverlässigkeit erkennen lässt, dass eine Beschwerde offensichtlich unbegründet oder unzulässig ist (E. 3b cc und dd S. 56). Als weiteres Motiv für die Verweigerung einer beantragten öffentlichen Verhandlung fällt die hohe Technizität der zur Diskussion stehenden Materie in Betracht, was etwa auf rein rechnerische, versicherungsmathematische oder buchhalterische Probleme zutrifft, wogegen andere dem Sozialversicherungsrecht inhärente Fragestellungen materiell- oder verfahrensrechtlicher Natur wie die Würdigung medizinischer Gutachten in der Regel nicht darunter fallen. Schliesslich kann das kantonale Gericht von einer öffentlichen Verhandlung absehen, wenn es auch ohne eine solche allein aufgrund der Akten zum Schluss gelangt, dass dem materiellen Rechtsbegehren der bezüglich der Verhandlung antragstellenden Partei zu entsprechen ist (<ref-ruling> E. 3b ee und ff S. 57 f.).
2. In formellrechtlicher Hinsicht stellt sich die Frage, ob das Sozialversicherungsgericht eine öffentliche Verhandlung hätte durchführen müssen.
2.1 In der Beschwerde an die Vorinstanz erklärte der Beschwerdeführer wörtlich:
"Ich beantrage die Durchführung einer Hauptverhandlung mit Einvernahme von Herrn H._. Zudem möchte ich mich an der Hauptverhandlung mündlich äussern. Da ich italienischer Muttersprache bin, fällt mir das Verfassen juristischer Texte in Deutsch schwer."
Das Sozialversicherungsgericht fasste diesen Antrag als Beweisantrag auf, der die Einvernahme eines anderen Belangten bezweckt habe, um klarzustellen, dass den Beschwerdeführer selbst kein Verschulden an der Nichtbezahlung der Beitragsforderungen treffe. Dieser Beweisantrag lasse sich nicht als Wunsch auf Durchführung einer konventionskonformen Verhandlung mit Publikums- und Presseanwesenheit interpretieren. Dementsprechend könne auf die Durchführung einer Verhandlung verzichtet werden.
2.2 Der Beschwerdeführer rügt diese Auslegung seines Antrages und macht geltend, die Vorinstanz habe Art. 6 Ziff. 1 EMRK verletzt, indem sie sich geweigert habe, die ausdrücklich verlangte öffentliche Verhandlung durchzuführen. Das kantonale Gericht habe den Antrag in der Beschwerde willkürlich und in einer gegen Treu und Glauben verstossenden Weise dahin ausgelegt, dass er lediglich einen Beweisantrag gestellt hat.
2.3 Rechtsbegehren sind nach Treu und Glauben auszulegen, insbesondere im Lichte der dazu gegebenen Begründung (<ref-ruling> E. 1 S. 127; Urteil 4P.266/2006 vom 13. Dezember 2006 E. 1.3). Nach der Rechtsprechung schadet eine sichtlich ungewollte oder unbeholfene Wortwahl der am Recht stehenden Person ebensowenig wie eine nicht geglückte oder rechtsirrtümliche Ausdrucksweise. Es genügt, wenn der Beschwerde insgesamt entnommen werden kann, was die Beschwerde führende Person verlangt (Urteil 9C_251/2009 vom 15. Mai 2009; SVR 2004 IV Nr. 25 S. 75 E. 3.2.1 mit Hinweisen, I 138/02).
2.4 Das vorstehend wiedergegebene Rechtsbegehren des Beschwerdeführers ist aus sich heraus verständlich. In Satz 1 wird klar und unmissverständlich verlangt, dass die Vorinstanz eine Hauptverhandlung durchführe, dies mit Einvernahme von H._. In Satz 2 bekräftigte der Beschwerdeführer, dass er sich an der Hauptverhandlung mündlich äussern möchte, und in Satz 3 folgt die Begründung dieses Antrages mit dem Hinweis auf die Schwierigkeiten beim Verfassen juristischer Texte wegen der italienischen Muttersprache. Wenn die Vorinstanz diesen Antrag einzig unter dem Gesichtswinkel eines Beweisantrages, lautend auf Einvernahme des ebenfalls zu Schadenersatz verpflichteten H._, verstanden, die eigentliche Tragweite aber missachtet hat, verletzt dies den in Art. 5 Abs. 3 bzw. <ref-law> verankerten Grundsatz von Treu und Glauben; denn die Befragung von H._ hat insgesamt nur eine untergeordnete Bedeutung. Schwergewichtig ersucht der Beschwerdeführer darum, sich an einer Hauptverhandlung vor dem Sozialversicherungsgericht mündlich zu seiner Sache allseitig äussern zu können.
3. Die Voraussetzungen, unter denen das kantonale Gericht nach der Rechtsprechung (<ref-ruling> E. 1 S. 280) von einer ausdrücklich beantragten öffentlichen Verhandlung absehen kann, sind im vorliegenden Fall nicht erfüllt. Damit der in Art. 6 Ziff. 1 EMRK gewährleisteten Verfahrensgarantie Rechnung getragen werden kann, ist es unumgänglich, die Sache an das kantonale Gericht zurückzuweisen, damit dieses den Verfahrensmangel behebt und die vom Beschwerdeführer verlangte öffentliche Verhandlung durchführt. Hernach wird es über dessen Beschwerde materiell neu befinden.
4. Mit dem Urteil in der Hauptsache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
5. Dem Prozessausgang entsprechend sind die Gerichtskosten der unterliegenden Ausgleichskasse aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der angefochtene Entscheid vom 28. Februar 2011 wird, soweit den Beschwerdeführer betreffend, aufgehoben, und die Sache wird an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen, damit es im Sinne der Erwägungen verfahre.
2. Die Gerichtskosten von Fr. 4000.- werden der Ausgleichskasse des Kantons Zürich auferlegt.
3. Die Ausgleichskasse des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. August 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer