Sachverhalt:
A. Die Firma X._ AG war der Ausgleichskasse Promea als beitragspflichtige Arbeitgeberin angeschlossen. Am 30. April 2003 gewährte der Richter der Gesellschaft eine provisorische Nachlassstundung für zwei Monate und setzte die Treuhand Y._ AG als provisorische Sachwalterin ein. Nachdem die Sachwalterin am 23. Mai 2003 Bericht erstattet hatte, wurde die Gesellschaft mit Beschluss der Generalversammlung vom ........ aufgelöst. Mit Verfügung vom 5. August 2003 wurde der Firma X._ AG in Liquidation erneut eine provisorische Nachlassstundung für zwei Monate gewährt. Als provisorische Sachwalterin wurde diesmal die Z._ AG eingesetzt, welche am 25. August 2003 Bericht erstattete. Am ........ wurde über die Gesellschaft der Konkurs eröffnet. Die Ausgleichskasse gab am ........ im Konkurs eine Forderung von Fr. 104'459.45 ein.
Mit Verfügung vom 22. März 2004 verpflichtete die Ausgleichskasse die Beschwerdeführer und ehemaligen Verwaltungsratsmitglieder der Firma X._ AG, L._ und S._, ebenso wie P._ als ehemaligen Verwaltungsratspräsidenten und Liquidator der Gesellschaft zur Bezahlung von Schadenersatz für in den Jahren 2003 bis 2004 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 50'696.30 (einschliesslich Verwaltungs- und Betreibungskosten, Mahngebühren und Verzugszinsen). Während L._ darauf mit Einsprache vom 23. März 2004 (recte: 23. April 2004; Eingang Ausgleichskasse 26. April 2004) reagierte, erhob S._ erst am 5. Juni 2004 Einsprache, nachdem er von der Ausgleichskasse mit Schreiben vom 13. Mai 2004 zur Zahlung des verfügten Betrages aufgefordert worden war.
Am 7. Juni 2004 erliess die Ausgleichskasse eine zweite Schadenersatzverfügung an die gleichen Adressaten über Fr. 53'763.10, insgesamt Fr. 104'459.45. Hiegegen erhoben L._ und S._ am 7. Juli 2004 Einsprache. Mit Einspracheentscheid vom 15. Oktober 2004 hielt die Ausgleichskasse an ihrer Schadenersatzforderung gegenüber L._ fest. Mit Einspracheentscheid vom 6. Dezember 2004 hiess die Ausgleichskasse die Einsprache des S._ vom 7. Juli 2004 gegen die Verfügung vom 7. Juni 2004 teilweise gut und reduzierte den geforderten Schadensbetrag auf Fr. 53'383.15. Sie stellte zudem fest, es gehe nur um die Frage, ob er den Differenzbetrag von Fr. 53'383.15 schulde, weil er die Forderung über Fr. 50'696.30 bereits anerkannt habe. Mit Einspracheentscheid vom 15. Oktober und 6. Dezember 2004 hielt die Ausgleichskasse an ihren Schadenersatzforderungen gegenüber L._ und S._ fest.
L._ und S._ erhoben je Beschwerde am Verwaltungsgericht des Kantons Bern. Mit Verfügung vom 22. Dezember 2004 wurde der Antrag der Ausgleichskasse auf Vereinigung der beiden Beschwerdeverfahren mit demjenigen in Sachen P._ abgewiesen. Zudem wurde am 30. Mai 2006 das Verfahren bis zum Abschluss eines von P._ gegen L._ eingeleiteten Strafverfahrens sistiert und am 1. März 2007 die Sistierung wieder aufgehoben. Nachdem das Gericht schliesslich bei der Ausgleichskasse eine Auskunft betreffend eine im Kontokorrent-Auszug ersichtliche Ausgleichsbuchung eingeholt hatte, vereinigte das Verwaltungsgericht des Kantons Bern mit Entscheid vom 23. Januar 2008 die Verfahren in Sachen L._ und S._ und wies die beiden Beschwerden ab. Die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hiess das Bundesgericht mit Urteil vom 30. September 2008 gut und wies die Sache an das Verwaltungsgericht des Kantons Bern zurück, damit es P._ zum Verfahren beilade.
B. Nach Beiladung von P._ zum Verfahren wies das Verwaltungsgericht des Kantons Bern die Beschwerden von L._ und S._ mit Entscheid vom 20. April 2009 erneut ab.
C. L._ führt Beschwerde und beantragt die Aufhebung des vorinstanzlichen Entscheides.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet. Der als Mitinteressierte beigeladene P._ lässt sich vernehmen, ohne einen Antrag zu stellen.
D. Mit Verfügung vom 26. Mai 2009 hat der Präsident der II. Sozialrechtlichen Abteilung den Beschwerdeführer aufgefordert, innert 14 Tagen einen Kostenvorschuss von Fr. 6'000.- zu bezahlen. Am 29. Juni 2009 wurde ihn dafür eine Nachfrist gesetzt. Das innert der gesetzten Frist gestellte Gesuch um Gewährung der unentgeltlichen Rechtspflege wies das Bundesgericht mit Entscheid vom 26. Oktober 2009 mangels Bedürftigkeit ab, bewilligte hingegen mit Verfügung vom 19. November 2009 auf Gesuch hin die Leistung des Kostenvorschusses in acht Ratenzahlungen von je Fr. 750.-, verbunden mit der Androhung, dass bei Nichtleistung oder nicht rechtzeitiger Leistung einer der acht Raten innert der jeweils gesetzten Frist auf die Rechtsvorkehr nicht eingetreten werde. Der Beschwerdeführer leistete in der Folge sämtliche Raten fristgerecht.

Erwägungen:
1. Die Zuständigkeit der II. sozialrechtlichen Abteilung des Bundesgerichts zum Entscheid über die streitige Schadenersatzpflicht erstreckt sich auch auf die Forderung für entgangene Sozialversicherungsbeiträge nach kantonalem Recht (Urteil 9C_704/2007 vom 17. März 2008 E. 1, nicht publ. in: <ref-ruling>, aber in: SVR 2008 FL Nr. 1 S. 1, 9C_720/2008 vom 7. Dezember 2009, E. 1).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Das Bundesgericht darf nicht über die Begehren der Parteien hinausgehen (<ref-law>).
3. Streitig und zu prüfen ist die Schadenersatzpflicht des Beschwerdeführers. Die Vorinstanz hat die Bestimmungen über die Arbeitgeberhaftung (<ref-law>; <ref-law> in Verbindung mit <ref-law>) sowie die hiezu ergangene Rechtsprechung, insbesondere über Eintritt des Schadens und Zeitpunkt der Kenntnis des Schadens (<ref-ruling>, 128 V 10, 119 V 89 E. 3 S. 92), die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 126 V 237, 123 V 12 E. 5b S. 15, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> E. 3a S. 444, 123 V 12 E. 5b S. 15, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> E. 2a S. 195 mit Hinweisen), die Voraussetzung des Verschuldens und den dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> E. 3a S. 202, ZAK 1992 S. 248 E. 4b, je mit Hinweisen; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf wird verwiesen.
4. Soweit der Beschwerdeführer vorab einwendet, der Kammerpräsident, Verwaltungsrichter B._, sei bereits als Kammerpräsident im vorangegangenen Verfahren tätig gewesen und daher befangen und nicht objektiv, kann ihm nicht gefolgt werden. Vorbefassung begründet nicht zwingend den Anschein der Befangenheit. Befangenheit kann zwar dann vorliegen, wenn eine Richterin oder ein Richter sich durch ihre oder seine Mitwirkung an früheren Entscheiden zur gleichen Streitsache in einzelnen Punkten bereits in einer Art festgelegt hat, die sie oder ihn nicht mehr als unvoreingenommen und das Verfahren dementsprechend als nicht mehr offen erscheinen lässt, was anhand der konkreten Gegebenheiten beurteilt werden muss. Von Bedeutung ist aber, unter welchen tatsächlichen und verfahrensrechtlichen Umständen die richtende Person sich im früheren Zeitpunkt mit der Sache befasste bzw. später zu befassen hat oder welche Fragen jeweils zu entscheiden und inwiefern sie sich ähnlich sind oder miteinander zusammenhängen. In Betracht zu ziehen sind ferner der Umfang des Entscheidungsspielraums bei der Beurteilung der sich stellenden Rechtsfragen und die Bedeutung der Entscheidungen auf den Fortgang des Verfahrens (Urteil 8C_555/2007 vom 31. Juli 2008, E. 6.1.2). Als massgebendes Kriterium für die Beurteilung dieser Frage im Einzelfall hielt das Bundesgericht fest, es sei generell zu fordern, dass das Verfahren in Bezug auf den konkreten Sachverhalt und die konkret zu entscheidenden Rechtsfragen trotz der Vorbefassung als offen erscheine und nicht der Anschein der Vorbestimmtheit erweckt werde (<ref-ruling> E. 3b S. 184 mit Hinweis, vgl. <ref-ruling> E. 7.2.2 S. 110; Urteil 9C_273/2009). Es ist somit danach zu fragen, ob das Ergebnis nach wie vor als offen und nicht vorbestimmt erscheint. Kann die Offenheit bejaht werden, ist die Besorgnis der Voreingenommenheit trotz Vorbefassung unbegründet (Regina Kiener/Melanie Krüsi, Die Unabhängigkeit von Gerichtssachverständigen, in: ZSR 2006 S. 506).
Vorliegend erschien die Streitsache im Rahmen der Rückweisung zur Einholung einer Vernehmlassung beim Mitinteressierten, welche zudem geeignet war, neue Gesichtspunkte einzubringen, nach wie vor offen, und zwar umso mehr, als die neue Richterbank mehrheitlich neu besetzt wurde. Es sind überhaupt keine konkreten Anhaltspunkte ersichtlich, dass sich der Kammerpräsident bei der früheren Beurteilung bereits in einer Art festgelegt hätte, dass er einer anderen Bewertung der Sach- und Rechtslage nicht mehr zugänglich, eine unvoreingenommene Prüfung nicht mehr möglich gewesen und der Verfahrensausgang deswegen nicht mehr als offen erschienen wäre. Die vom Beschwerdeführer - verständlicherweise - beanstandeten Versehen und Ungereimtheiten in der Wiedergabe von Personen- und Firmennamen sind rein redaktioneller Natur und haben mit der Meinungsbildung des kantonalen Gerichts nichts zu tun. Der vorinstanzliche Entscheid ist mit <ref-law> und Art. 6 Ziff. 1 EMRK ohne weiteres vereinbar und damit insofern bundesrechtskonform. Die Berufung in der Beschwerde auf kantonales Recht (Art. 9 Abs. 1 lit. b des Gesetzes über die Verwaltungsrechtspflege des Kantons Bern [VRPG]; Bernische Systematische Gesetzessammlung [BSG] 155.21) genügt den dafür erforderlichen qualifizierten Begründungspflichten (<ref-law>) nicht. Davon abgesehen löst die Aufhebung des Entscheids durch eine obere Instanz und Rückweisung zu neuem Entscheid keine Ausstandspflicht aus (Merkli/Aeschlimann/Herzog, Kommentar zum Gesetz vom 23. Mai 1989 über die Verwaltungsrechtspflege des Kantons Bern [VRPG], Bern 1997, N 11 zu Art. 9 VRPG). Ins Leere treffen die Beanstandungen des Beschwerdeführers bezüglich der Sprache, nachdem das kantonale Gericht die in Französisch verfasste Eingabe des Beigeladenen P._ vom 25. November 2008 in seinem Entscheid (S. 6) auf Deutsch im Wesentlichen wiedergegeben hat.
5. 5.1 Wie das kantonale Gericht verbindlich (E. 2) festgestellt hat, mussten die der konkursiten Gesellschaft in Rechnung gestellten Beiträge bereits seit Frühjahr 2002 gemahnt und betrieben werden, wobei schliesslich Fr. 104'459.45 ungedeckt blieben. Die Konkursitin ist damit den ihr als Arbeitgeberin obliegenden Beitragsabrechnungs- und -zahlungspflichten gemäss <ref-law> in Verbindung mit <ref-law> nur unvollständig nachgekommen und hat damit Vorschriften im Sinne von <ref-law> missachtet (vgl. statt vieler: <ref-ruling> E. 1 am Ende), was grundsätzlich die volle Schadenersatzpflicht gemäss <ref-law> nach sich zieht.
Der durch zwei Schadenersatzverfügungen (vom 22. März und 7. Juni 2004) geltend gemachte Haftungsanspruch ist offensichtlich nicht verjährt, wie die Vorinstanz in E. 4.1 des angefochtenen Entscheides dargelegt hat.
5.2 Streitig und zu prüfen bleibt, ob diese zum Beitragsverlust führende Pflichtverletzung des Arbeitgebers dem Beschwerdeführer - seines Zeichens Verwaltungsratsmitglied und damit formelles Organ einer Aktiengesellschaft als juristischer Person (Art. 626 Ziff. 6 in Verbindung mit <ref-law>), welches grundsätzlich als Schadenersatzpflichtiger in Frage kommt - als grobfahrlässiges Verhalten anzurechnen ist.
Dabei ist mit der Vorinstanz zu wiederholen, dass der Beschwerdeführer im Handelsregister als Mitglied des Verwaltungsrats der konkursiten Gesellschaft eingetragen war. Soweit er moniert, es werde behauptet, er sei Verwaltungsrat der K._ gewesen, was absolut nicht den Tatsachen entspreche und im Handelregister so auch nie publiziert worden sei, so bezieht sich dies offensichtlich auf die von der Vorinstanz verwendete Abkürzung Firma K._ für Firma X._ AG, woraus der Beschwerdeführer, wie schon im Zusammenhang mit der Ausstandsrüge gesagt (E. 4 in fine), nichts zu seinen Gunsten ableiten kann, da offensichtlich ist, dass die Vorinstanz von der Firma X._ AG ausgeht.
Sodann sind die grundsätzlichen Einwände gegen eine Haftung von Arbeitgeberorganen gestützt auf <ref-law> nicht stichhaltig, ist doch eine solche Organhaftung nach ständiger Rechtsprechung anerkannt (vgl. statt vieler Urteil H 112/03 vom 2. November 2004).
5.3 Ob ein Organ schuldhaft gehandelt hat, hängt entscheidend von der Verantwortung und den Kompetenzen ab, die ihm von der juristischen Person übertragen wurden. Bei nicht geschäftsführenden Verwaltungsratsmitgliedern von Aktiengesellschaften ist entscheidend, ob sie den ihnen obliegenden Kontroll- und Aufsichtspflichten nachgekommen sind. Nach <ref-law> obliegt dem Verwaltungsrat die Oberaufsicht über die mit der Geschäftsführung betrauten Personen, namentlich im Hinblick auf die Befolgung der Gesetze, Statuten, Reglemente und Weisungen. Gemäss dieser Bestimmung hat das Verwaltungsratsmitglied nicht nur die Pflicht, an den Verwaltungsratssitzungen teilzunehmen, sondern sich periodisch über den Geschäftsgang zu informieren und bei Unregelmässigkeiten in der Geschäftsführung einzuschreiten (vgl. Forstmoser/Meier-Hayoz/Nobel, Schweizerisches Aktienrecht, § 30, N. 49). Die Bestimmung entspricht weitgehend dem bis Ende Juni 1992 gültig gewesenen <ref-law>, wonach die Verwaltung einer Aktiengesellschaft die mit der Geschäftsführung beauftragten Personen zu überwachen und sich regelmässig über den Geschäftsgang unterrichten zu lassen hatte. Wie das Eidgenössische Versicherungsgericht hiezu festgestellt hat, setzt die Sorgfaltspflicht voraus, dass der Verwaltungsrat die ihm unterbreiteten Berichte kritisch liest, nötigenfalls ergänzende Auskünfte verlangt und bei Irrtümern oder Unregelmässigkeiten einschreitet. Dabei wird es aber einem Verwaltungsratspräsidenten einer Grossfirma nicht als grobfahrlässiges Verschulden angerechnet werden können, wenn er nicht jedes einzelne Geschäft, sondern nur die Tätigkeit der Geschäftsleitung und den Geschäftsgang im Allgemeinen überprüft und daher beispielsweise nicht beachtet, dass in Einzelfällen die Abrechnung der Lohnbeiträge nicht erfolgt ist. Das Gegenstück wäre der Präsident des Verwaltungsrates einer Firma, der faktisch das einzige ausführende Organ der Firma ist, oder aber der Verwaltungsratspräsident einer Firma, dem bekannt ist oder doch nach den jeweiligen Umständen bekannt sein sollte, dass die Abrechnungspflicht möglicherweise mangelhaft erfüllt wird (<ref-ruling> E. 4a S. 223; <ref-ruling> E. 3a S. 202; ZAK 1985 S. 620 E. 3b, Urteil H 182/06 vom 29. Januar 2008, je mit Hinweisen). Zwar können einzelne Geschäftsführungsfunktionen delegiert werden. Zur Wahrung der geforderten Sorgfalt gehört jedoch neben der richtigen Auswahl des geeigneten Mandatsträgers auch dessen Instruktion und Überwachung. So kann sich der Geschäftsführer allein durch Delegation der Aufgaben nicht seiner Verantwortung entledigen. Dies gilt für einen Vereinspräsidenten (AHI 2002 S. 51, H 200/01) ebenso wie für einen Verwaltungsrat (<ref-ruling> E. 5b), einen geschäftsführenden Gesellschafter einer GmbH (AHI 2000 S. 220) oder einen Stiftungsrat (Urteil H 14/00 vom 30. Juli 2001).
5.4 Das kantonale Gericht hat das Verhalten des Beschwerdeführers als grobfahrlässig beurteilt und den Kausalzusammenhang mit dem eingetretenen Schaden bejaht. Die Nachlassstundung und die Einsetzung eines Sachwalters ändere nichts an der Verantwortlichkeit des Beschwerdeführers, dem als Verwaltungsrat die Oberaufsicht über die Geschäftsführung obliege. Er könne sich weder mit der Tatsache der Delegation der Geschäftsführung noch den geltend gemachten Hinweisen auf die Ausstände oder das schwierige wirtschaftliche Umfeld exkulpieren. Insbesondere könne sich der Beschwerdeführer damit, dass er auf entsprechende Nachfrage schon lange auf die - ihm spätestens seit Mai 2002 bekannten - Ausstände hingewiesen und den Verwaltungsratspräsidenten zum Handeln gedrängt habe, nicht entlasten. Vielmehr hätte er - nachdem weiterhin keine Massnahmen zwecks Behebung der Ausstände ergriffen wurden - selber zweckdienliche Handlungen veranlassen oder aber als Verwaltungsrat demissionieren müssen, auch unter Berücksichtigung der Tatsache, dass Probleme in der Buchhaltung bestanden. Ob die fraglichen Aktennotizen gefälscht seien, könne offen bleiben, da die Kenntnis der vorhandenen Probleme mit der Ausgleichskasse nicht bestritten und schon als vorher bekannt erstellt sei. Dass der Beschwerdeführer trotz dieser Kenntnis keine geeigneten Massnahmen getroffen habe, sei ihm als Verschulden anzurechnen.
5.5 Der Beschwerdeführer wendet dagegen zunächst in zeitlicher Hinsicht ein, er sei bereits per 18. Juni 2003 aus dem Verwaltungsrat ausgetreten. Zudem sei der Beitragsausstand ohnehin nur von kurzer Dauer.
Die Vorinstanz hat verbindlich festgestellt, dass die Schadenersatzforderung nur Beiträge bis und mit Mai 2003 umfasst, welche bis 10. Juni 2003 und damit noch vor der vom Beschwerdeführer behaupteten Demission fällig geworden sind, weshalb der Beschwerdeführer grundsätzlich für die gesamte Schadenersatzforderung einzustehen hat. Was sodann den Einwand der kurzen Dauer des Beitragsausstandes betrifft, kann der Beschwerdeführer auch daraus nichts zu seinen Gunsten ableiten. Die Frage der Dauer des Normverstosses ist lediglich ein Beurteilungskriterium, welches im Rahmen der Gesamtwürdigung sämtlicher konkreter Umstände des Einzelfalles zu berücksichtigen ist (<ref-ruling> E. 4b S. 244; <ref-ruling> f. E. 1b; <ref-ruling> f. E. 1). Entgegen der Auffassung des Beschwerdeführers liegt in Tat und Wahrheit gar kein kurzer Beitragsausstand vor, bezieht sich doch die Schadenersatzforderung - wie die Vorinstanz verbindlich (E. 2) festgestellt hat - auf Beitragsausstände von April 2002 bis Mai 2003 in der Höhe von Fr. 104'459.45. Daran ändert nichts, dass nach Angaben des Beschwerdeführers die Ausstände im Juni 2002 Fr. 64'367.85 betrugen und mit eingeleiteten Massnahmen im Februar 2003 auf Fr. 27'726.25 reduziert werden konnten, bestand doch damit gleichwohl während mehr als einem Jahr ein dauernder Schuldsaldo gegenüber der Ausgleichskasse. Es kann deshalb nicht davon gesprochen werden, dass die Gesellschaft nur während einer kurzen Dauer oder eines vorübergehenden Liquiditätsengpasses die Beiträge nicht bezahlt hätte (<ref-ruling>, 121 V 243).
5.6 Der Beschwerdeführer bringt erneut vor, im Zusammenhang mit dem Verkauf des Lagers an die K._ AG sei gemäss Protokoll vom 18. März (recte: Juni) 2003 vereinbart worden, dass die AHV-Beiträge umgehend bezahlt werden sollten; mit dem Erlös aus der Liquidation des Lagers seien dann aber seitens des als Liquidator eingesetzten P._ im Zusammenhang mit einem Retentionsrecht wegen ausstehenden Mietzinsen andere Zahlungen getätigt worden. Wie die Vorinstanz hingegen in jedenfalls nicht offensichtlich unrichtiger Weise (E. 2) festgehalten hat, geht aus dem vom Beschwerdeführer zitierten handschriftlichen Protokoll vom 18. Juni 2003 keineswegs hervor, dass die sofortige Zahlung der AHV-Beiträge vereinbart worden wäre. Vielmehr wird im Protokoll wörtlich festgehalten: "AHV kontaktieren und das Gespräch suchen, da diese Institution (sich) sehr ag(g)ressiv verhält", was eher auf eine beabsichtigte Stundung der Beiträge oder einen Abzahlungsvertrag hindeutet als auf eine sofortige Begleichung des Schuldsaldos. Zudem wird unter Punkt 11 des Protokolls zwar festgehalten "AHV sofort zahlen"; das Wort AHV überschreibt jedoch ein anderes, nicht mehr entzifferbares Wort, so dass nicht auszuschliessen ist, dass "AHV" erst nachträglich eingefügt wurde, zumal die Firma auch bei anderen öffentlich-rechtlichen Gläubigern in dringendem Verzuge stand (vgl. Schreiben des P._ vom 2. August 2003).
Wenn die Vorinstanz unter diesem Umständen offen gelassen hat, ob den vom Beschwerdeführer unterzeichneten Aktennotizen betreffend AHV-Zahlungen überhaupt ein Beweiswert zukommt, und geschlossen hat, der Beschwerdeführer könne sich damit nicht exkulpieren, da er selbst zweckdienliche Massnahmen hätte ergreifen müssen, ist dies weder bundesrechtswidrig noch sind die zu Grunde liegenden Sachverhaltsfeststellungen offensichtlich unrichtig (E. 2). Daran ändert nichts, dass die Gesellschaft in Liquidation im Zeitpunkt des Lagerliquidation mit einem Kontokorrent-Saldo von rund Fr. 300'000.- noch über genügend Geld verfügt haben soll, um die Verbindlichkeiten gegenüber der Ausgleichskasse zu befriedigen, wie der Beschwerdeführer vorbringt, war doch die Ausgleichskasse nicht die einzige Gläubigerin der Gesellschaft. Wie die Vorinstanz verbindlich festgestellt hat, beliefen sich allein die Forderungen der Pensionskasse Ende 2002 auf 1,35 Mio. Franken. Massgebend ist vielmehr, dass der Beschwerdeführer nicht schon vorher als amtierender Verwaltungsrat seinen Pflichten (vgl. E. 5.3) nachgekommen ist und für die Begleichung der Beitragsausstände ab April 2002 gesorgt hat, die ihm ebenso bekannt wurden wie die schlechte finanzielle Situation der Gesellschaft schon seit Juni 2002. Daher ändert die finale Einsetzung des Sachwalters nichts, zumal der Richter bei der Gewährung der Nachlassstundung der Gesellschaft keine über die gesetzlichen Bestimmungen hinausgehenden Einschränkungen ihrer Befugnisse auferlegt hat, welche die Begleichung der ausstehenden Sozialversicherungsbeiträge beschränkt hätten. Auch die Weisungen der Sachwalterin vom 1. Mai 2003 (Treuhand Y._ AG) entlasten die unterzeichneten, für die Geschäftsführung verantwortlichen Personen sowie die Verwaltungsräte, darunter den Beschwerdeführer, nicht von ihrer öffentlich-rechtlichen Organpflicht, auf die Zahlung der AHV-Beiträge hinzuwirken.
6. Entsprechend dem Verfahrensausgang werden die Gerichtskosten dem Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, P._, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Dezember 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke