Sachverhalt:
Sachverhalt:
A. Die am ........ ins Handelsregister eingetragene Firma H._ AG war der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Als Verwaltungsratspräsident mit Einzelunterschrift amtete H._, als Mitglied des Verwaltungsrats ohne Zeichnungsberechtigung S._. Am ........ wurde über die Gesellschaft der Konkurs eröffnet und am ........ der Kollokationsplan aufgelegt. Der Ausgleichskasse wurde am 12. Juni 2003 ein Verlustschein über Fr. 53'996.45 ausgestellt. Mit Verfügungen vom 28. April sowie 1. Juni 2004 verpflichtete die Ausgleichskasse S._ und H._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 53'744.35. Die Verfügung vom 1. Juni 2004 gegenüber H._ erwuchs unangefochten in Rechtskraft. Die gegen die Verfügung vom 28. April 2004 von S._ erhobene Einsprache wies die Ausgleichskasse mit Entscheid vom 31. März 2005 ab.
A. Die am ........ ins Handelsregister eingetragene Firma H._ AG war der Ausgleichskasse des Kantons Bern (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. Als Verwaltungsratspräsident mit Einzelunterschrift amtete H._, als Mitglied des Verwaltungsrats ohne Zeichnungsberechtigung S._. Am ........ wurde über die Gesellschaft der Konkurs eröffnet und am ........ der Kollokationsplan aufgelegt. Der Ausgleichskasse wurde am 12. Juni 2003 ein Verlustschein über Fr. 53'996.45 ausgestellt. Mit Verfügungen vom 28. April sowie 1. Juni 2004 verpflichtete die Ausgleichskasse S._ und H._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich FAK-Beiträge, Verwaltungskosten, Verzugszinsen, Mahngebühren und Betreibungskosten) in der Höhe von Fr. 53'744.35. Die Verfügung vom 1. Juni 2004 gegenüber H._ erwuchs unangefochten in Rechtskraft. Die gegen die Verfügung vom 28. April 2004 von S._ erhobene Einsprache wies die Ausgleichskasse mit Entscheid vom 31. März 2005 ab.
B. Die von S._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 3. März 2006 ab.
B. Die von S._ hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 3. März 2006 ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt S._ die Aufhebung des vorinstanzlichen Entscheides beantragen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung verzichtet. Der als Mitinteressierter beigeladene H._ hat sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als Sozialversicherungsbeiträge kraft Bundesrechts streitig sind. Im vorliegenden Verfahren ist daher nicht zu prüfen, wie es sich bezüglich der Beitragsschuld gegenüber der Ausgleichskasse für kantonale Familienzulagen verhält (<ref-ruling> Erw. 1 mit Hinweis).
1. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als Sozialversicherungsbeiträge kraft Bundesrechts streitig sind. Im vorliegenden Verfahren ist daher nicht zu prüfen, wie es sich bezüglich der Beitragsschuld gegenüber der Ausgleichskasse für kantonale Familienzulagen verhält (<ref-ruling> Erw. 1 mit Hinweis).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. 3.1 Die Vorinstanz hat die Bestimmungen über die Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) sowie die hiezu ergangene Rechtsprechung, insbesondere über den Eintritt des Schadens und Zeitpunkt der Kenntnis des Schadens (<ref-ruling>, 128 V 10, 119 V 92 Erw. 3), die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 126 V 237, 123 V 15 Erw. 5b, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> Erw. 3a, 123 V 15 Erw. 5b, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> Erw. 2a mit Hinweisen), die Voraussetzung des Verschuldens und den dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a, ZAK 1992 S. 248 Erw. 4b, je mit Hinweisen; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf wird verwiesen.
3.2 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach <ref-law>, geändert sowie Art. 81 und 82 AHVV aufgehoben worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3.2, 93 Erw. 3.2, 220 Erw. 3.2, 129 V 4 Erw. 1.2, 169 Erw. 1, 356 Erw. 1), kommen angesichts der am 25. April 2002 erfolgten Konkurseröffnung (vgl. auch <ref-ruling> und 123 V 12) in materieller Hinsicht die bis zum 31. Dezember 2002 geltenden Bestimmungen zur Anwendung. Hingegen ist angesichts des Zeitpunkts der Verfügung (28. April 2004) bzw. des Einspracheentscheides (31. März 2005) das neue Verfahrensrecht nach ATSG anwendbar (<ref-ruling>).
3.2 Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach <ref-law>, geändert sowie Art. 81 und 82 AHVV aufgehoben worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3.2, 93 Erw. 3.2, 220 Erw. 3.2, 129 V 4 Erw. 1.2, 169 Erw. 1, 356 Erw. 1), kommen angesichts der am 25. April 2002 erfolgten Konkurseröffnung (vgl. auch <ref-ruling> und 123 V 12) in materieller Hinsicht die bis zum 31. Dezember 2002 geltenden Bestimmungen zur Anwendung. Hingegen ist angesichts des Zeitpunkts der Verfügung (28. April 2004) bzw. des Einspracheentscheides (31. März 2005) das neue Verfahrensrecht nach ATSG anwendbar (<ref-ruling>).
4. Zu prüfen ist, ob der Beschwerdeführer Schadenersatz zu leisten hat, wobei weder die Höhe der Schadenersatzforderung noch die Rechtzeitigkeit der entsprechenden Verfügung bestritten ist.
4.1 Wie die Vorinstanz verbindlich festgestellt hat (vgl. Erw. 2 hievor), hat die konkursite Gesellschaft Beiträge zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten sowie Verzugszinsen in der Höhe von Fr. 53'966.45 nicht mehr entrichtet, wobei gegenüber dem Beschwerdeführer ein reduzierter Betrag von Fr. 53'744.35 geltend gemacht wurde. Dabei wurde die Gesellschaft nicht nur häufig betrieben - erstmals bereits am .... 1999, also rund drei Jahre vor dem Konkurs, sondern wurde sogar dreimal gebüsst. Damit verstiess die Gesellschaft gegen die - in masslicher Hinsicht unbestrittene - Beitragszahlungspflicht und missachtete Vorschriften im Sinne von <ref-law>. Dieses Verschulden der Arbeitgeberin hat das kantonale Gericht zu Recht dem Beschwerdeführer, seines Zeichens Verwaltungsratsmitglied der AG, als grobfahrlässiges Verhalten angerechnet. Daran vermögen die vom Beschwerdeführer erhobenen Vorbringen, die sich auf die Bestreitung seiner Organstellung konzentrieren wie auch auf den Einwand, mangels Kenntnis und Kennenkönnens der wirklichen Situation im AHV-Beitragswesen und der tatsächlichen Lage der AG sei er von vornherein nicht in der Lage gewesen, rechtzeitig einzuschreiten, nichts zu ändern:
4.2 Zunächst geht der beschwerdeführerische Einwand gänzlich fehl, eine formelle, faktische oder sonstige wie auch immer geartete Führungsfunktion sei ihm als Verwaltungsrat nie zugedacht worden und habe von ihm auch nicht ausgeübt werden können. Es steht ausser Frage, dass ihm eine formelle Organstellung zukam, nachdem er laut Eintrag im Handelsregister seit 10. Mai 2000 Verwaltungsrat ohne Zeichnungsberechtigung war. Die Verneinung einer Führungsfunktion illustriert vielmehr, wie sich der Beschwerdeführer der Bedeutung eines Verwaltungsratsmandates mit seinen Kompetenzen, Rechten und Pflichten, insbesondere seiner unübertragbaren und unentziehbaren Pflicht zur Oberaufsicht über die Gesellschaft, nicht bewusst war und deshalb in Unkenntnis seiner Verantwortung diese auch nicht gebührend wahrnehmen konnte.
4.3 Sodann kann sich der Beschwerdeführer nicht damit entlasten, er sei nie im operativen Geschäft tätig gewesen. Wer im Rahmen einer Gesellschaft formelle Organstellung einnimmt, hat auch die damit verbundenen gesetzlichen Pflichten zu erfüllen (Urteil. H. vom 7. April 2004, H 292/03). Gerade auch einem nicht mit der kaufmännischen Geschäftsführung und den finanziellen Belangen betrauten Verwaltungsrat kommt, solange er diese formelle Organstellung beibehält, als Mitglied des Verwaltungsrats die unübertragbare und unentziehbare Aufgabe zu, die Oberaufsicht über die mit der Geschäftsführung betrauten Personen, namentlich im Hinblick auf die Befolgung der Gesetze, auszuüben (<ref-law>), zu welchem Zweck er über ein Recht auf Auskunft und Einsicht verfügt (<ref-law>). Obliegt die Geschäftsführung einem Mitglied des Verwaltungsrats, so handeln weitere Verwaltungsräte im Sinne von <ref-law> qualifiziert schuldhaft, wenn sie die nach den Umständen gebotene, sich auch auf das Beitragswesen erstreckende Aufsicht nicht ausüben, wobei sich die Anforderungen an die gegenseitige Kontrolle bei einem wie vorliegend aus nur wenigen Personen zusammengesetzten Verwaltungsrat nach einem strengen Massstab beurteilen. Als grobfahrlässig gilt gerade auch die Passivität faktisch von der Geschäftsführung ausgeschlossener Verwaltungsräte, welche sich umso nachhaltiger um Einblick in die Geschäftsbücher zu bemühen haben. Ein Verwaltungsrat kann sich, wenn es wie beim Beitragswesen um die Verantwortung in Geschäften geht, mit denen er sich ihrer Bedeutung wegen befassen musste, nicht mit dem Einwand exkulpieren, er habe keinen Einfluss auf die Geschäftsführung gehabt (<ref-ruling> Erw. 6; ZAK 1992 S. 255 Erw. 7b, 1989 S. 104 Erw. 4; nicht publ. Erw. 2c des Urteils <ref-ruling>; nicht publ. Erw. 5a/aa des Urteils AHI 1994 S. 102). Daran ändert gemäss Rechtsprechung schliesslich auch die fehlende Zeichnungsberechtigung eines Verwaltungsrats nichts (nicht publ. Erw. 5a/aa des Urteils AHI 1994 S. 102, Urteil A. vom 23. Januar 2003, H 253/02).
Auch die weiteren Einwände, wonach der Beschwerdeführer nur in die ihm vorgelegten Abschlüsse der Jahre 1999 und 2000 Einsicht nahm und von den Beitragsausständen "nichts ahnen" konnte, veranschaulichen, dass er sich passiv verhielt und seine Überwachungspflichten nicht aktiv wahrnahm, also beispielsweise nicht selbst weitere Unterlagen vom Geschäftsführer verlangte. Ungeachtet der Regelung der Geschäftsführungs- und Vertretungsbefugnisse beschränkt sich die Überwachungspflicht der Verwaltungsratsmitglieder nicht auf die Kontrolle der jährlichen Rechnungsablage (Bürgi, Zürcher Kommentar, N 21 zu aArt. 722 OR). Vielmehr haben sie sich regelmässig über den Geschäftsstand zu informieren und nötigenfalls nähere Abklärungen und geeignete Massnahmen zur Sicherstellung einer ordnungsgemässen Geschäftsführung zu treffen. Im Rahmen der ihm nach <ref-law> obliegenden Aufgaben hat der Verwaltungsrat insbesondere auch über die Liquidität der Gesellschaft zu wachen und die finanziellen Abläufe im Betrieb kritisch zu verfolgen und nachzuprüfen (Böckli, Das neue Aktienrecht, Zürich 1992, S. 809 Rz 1560 ff.). Zudem ist er für ein ordnungsgemässes Rechnungswesen und eine den Vorschriften von <ref-law> entsprechende Buchhaltung verantwortlich (Müller/Lipp, Der Verwaltungsrat; Ein Handbuch für die Praxis, Zürich 1994, S. 120 f.). Wohl können einzelne Geschäftsführungsfunktionen delegiert werden. Zur Wahrung der geforderten Sorgfalt gehört jedoch neben der richtigen Auswahl des geeigneten Mandatsträgers auch dessen Instruktion und Überwachung. Allein durch Delegation der Aufgaben kann sich der Verwaltungsrat nicht seiner Verantwortung und Pflicht zur Oberaufsicht entledigen (<ref-ruling> Erw. 5b, 109 V 88 Erw. 6; Urteile W. vom 19. November 2002, H 165/01, und K. vom 27. Juli 2000 Erw. 3b, H 417/99). Gerade die vom Beschwerdeführer ins Feld geführte schlechte, sehr späte und lückenhafte Information durch den Geschäftsführer H._ hätten zu berechtigten Zweifeln an dessen Beachtung der Sorgfaltspflicht und zu eindringlicheren Kontrollen und Massnahmen mit Bezug auf die Beitragspflicht Anlass geboten. Solches war vorliegend indes nicht der Fall. Vielmehr hat sich der Beschwerdeführer schlicht nicht um seine ihm durch das Verwaltungsratsamt obliegenden Pflichten und Aufgaben gekümmert. Schliesslich macht er auch nicht geltend und ist nicht ersichtlich, dass er von H._ im Sinne eines strafrechtlich relevanten Verhaltens absichtlich getäuscht worden wäre (Urteil F. vom 25. Juli 2000, H 319/99).
Zusammenfassend ist deshalb von einem haftungsbegründenden qualifizierten Verschulden des Beschwerdeführers, wie es <ref-law> für die Schadenersatzverpflichtung verlangt, auszugehen, weshalb der angefochtene Entscheid rechtens ist.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Ausgang des Verfahrens entsprechend gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 4000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, dem Bundesamt für Sozialversicherung und H._, zugestellt.
Luzern, 24. August 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Die Gerichtsschreiberin: