Sachverhalt: A. Die Firma X._ AG war der Ausgleichskasse Promea als beitragspflichtige Arbeitgeberin angeschlossen. Am 30. April 2003 gewährte der Richter der Gesellschaft eine provisorische Nachlassstundung für zwei Monate und setzte die Treuhand Y._ AG als provisorische Sachwalterin ein. Nachdem die Sachwalterin am 23. Mai 2003 Bericht erstattet hatte, wurde die Gesellschaft mit Beschluss der Generalversammlung vom ........ aufgelöst. Mit Verfügung vom 5. August 2003 wurde der Firma X._ AG in Liquidation erneut eine provisorische Nachlassstundung für zwei Monate gewährt. Als provisorische Sachwalterin wurde diesmal die Z._ AG eingesetzt, welche am 25. August 2003 Bericht erstattete. Am ........ wurde über die Gesellschaft der Konkurs eröffnet. Die Ausgleichskasse gab am ........ im Konkurs eine Forderung von Fr. 104'459.45 ein. Mit Verfügung vom 22. März 2004 verpflichtete die Ausgleichskasse die Beschwerdeführer und ehemaligen Verwaltungsratsmitglieder der Firma X._ AG, L._ und S._, ebenso wie P._ als ehemaligen Verwaltungsratspräsidenten und Liquidator der Gesellschaft zur Bezahlung von Schadenersatz für in den Jahren 2003 bis 2004 entgangene bundes- und kantonalrechtliche Sozialversicherungsbeiträge in der Höhe von Fr. 50'696.30 (einschliesslich Verwaltungs- und Betreibungskosten, Mahngebühren und Verzugszinsen). Während L._ darauf mit Einsprache vom 23. März 2004 (recte: 23. April 2004; Eingang Ausgleichskasse 26. April 2004) reagierte, erhob S._ erst am 5. Juni 2004 Einsprache, nachdem er von der Ausgleichskasse mit Schreiben vom 13. Mai 2004 zur Zahlung des verfügten Betrages aufgefordert worden war. Am 7. Juni 2004 erliess die Ausgleichskasse eine zweite Schadenersatzverfügung an die gleichen Adressaten über Fr. 53'763.10, insgesamt Fr. 104'459.45. Hiegegen erhoben L._ und S._ am 7. Juli 2004 Einsprache. Mit Einspracheentscheid vom 15. Oktober 2004 hielt die Ausgleichskasse an ihrer Schadenersatzforderung gegenüber L._ fest. Mit Einspracheentscheid vom 6. Dezember 2004 hiess die Ausgleichskasse die Einsprache des S._ vom 7. Juli 2004 gegen die Verfügung vom 7. Juni 2004 teilweise gut und reduzierte den geforderten Schadensbetrag auf Fr. 53'383.15. Sie stellte zudem fest, es gehe nur um die Frage, ob er den Differenzbetrag von Fr. 53'383.15 schulde, weil er die Forderung über Fr. 50'696.30 bereits anerkannt habe. Mit Einspracheentscheid vom 15. Oktober und 6. Dezember 2004 hielt die Ausgleichskasse an ihren Schadenersatzforderungen gegenüber L._ und S._ fest. L._ und S._ erhoben je Beschwerde am Verwaltungsgericht des Kantons Bern. Mit Verfügung vom 22. Dezember 2004 wurde der Antrag der Ausgleichskasse auf Vereinigung der beiden Beschwerdeverfahren mit demjenigen in Sachen P._ abgewiesen. Zudem wurde am 30. Mai 2006 das Verfahren bis zum Abschluss eines von P._ gegen L._ eingeleiteten Strafverfahrens sistiert und am 1. März 2007 die Sistierung wieder aufgehoben. Nachdem das Gericht schliesslich bei der Ausgleichskasse eine Auskunft betreffend eine im Kontokorrent-Auszug ersichtliche Ausgleichsbuchung eingeholt hatte, vereinigte das Verwaltungsgericht des Kantons Bern mit Entscheid vom 23. Januar 2008 die Verfahren in Sachen L._ und S._ und wies die beiden Beschwerden ab. Die hiegegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hiess das Bundesgericht mit Urteil vom 30. September 2008 gut und wies die Sache an das Verwaltungsgericht des Kantons Bern zurück, damit es P._ zum Verfahren beilade. B. Nach Beiladung von P._ zum Verfahren wies das Verwaltungsgericht des Kantons Bern die Beschwerden von L._ und S._ mit Entscheid vom 20. April 2009 erneut ab. C. L._ führt Beschwerde und beantragt die Aufhebung des vorinstanzlichen Entscheides. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung verzichtet. Der als Mitinteressierte beigeladene P._ lässt sich vernehmen, ohne einen Antrag zu stellen. D. Mit Verfügung vom 26. Mai 2009 hat der Präsident der II. Sozialrechtlichen Abteilung den Beschwerdeführer aufgefordert, innert 14 Tagen einen Kostenvorschuss von Fr. 6'000.- zu bezahlen. Am 29. Juni 2009 wurde ihn dafür eine Nachfrist gesetzt. Das innert der gesetzten Frist gestellte Gesuch um Gewährung der unentgeltlichen Rechtspflege wies das Bundesgericht mit Entscheid vom 26. Oktober 2009 mangels Bedürftigkeit ab, bewilligte hingegen mit Verfügung vom 19. November 2009 auf Gesuch hin die Leistung des Kostenvorschusses in acht Ratenzahlungen von je Fr. 750.-, verbunden mit der Androhung, dass bei Nichtleistung oder nicht rechtzeitiger Leistung einer der acht Raten innert der jeweils gesetzten Frist auf die Rechtsvorkehr nicht eingetreten werde. Der Beschwerdeführer leistete in der Folge sämtliche Raten fristgerecht.