Sachverhalt:
Sachverhalt:
A. Die A._ AG bis ... 1997 mit Sitz in X._, danach in Y._, war der Ausgleichskasse des Kantons Zürich (nachfolgend: Ausgleichskasse) als Arbeitgeberin angeschlossen. Am ... 1999 wurde über die A._ AG der Konkurs eröffnet und am ... 1999 mangels Aktiven wieder eingestellt.
Mit Verfügung vom 13. April 2000 verpflichtete die Ausgleichskasse S._, welcher vom 10. Mai 1996 bis 10. Juni 1997 sowie vom 1. Oktober 1998 bis zur Konkurseröffnung Mitglied des Verwaltungsrates gewesen war, zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge in der Höhe von Fr. 431'874.95. Am 16. Juni 2000 erliess sie eine weitere Schadenersatzverfügung über Fr. 31'869.30.
Nachdem S._ gegen diese Verfügungen Einsprache erhoben hatte, reichte die Ausgleichskasse am 8. Juni 2000 und am 22. August 2000 Klage ein. Das Sozialversicherungsgericht des Kantons Zürich hiess die Klagen gut und verpflichtete S._ zur Bezahlung von Schadenersatz von insgesamt Fr. 463'744.25 (Entscheid vom 9. Januar 2002, Rektifikate vom 24. und 29. Januar 2002). Das Eidgenösssische Versicherungsgericht hiess die hiegegen erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 7. Januar 2004 in dem Sinne gut, als es an die Ausgleichskasse zurückwies, damit diese die von S._ geschuldete Schadenersatzsumme im Sinne der Erwägungen ermittle und hernach neu verfüge.
Nachdem S._ gegen diese Verfügungen Einsprache erhoben hatte, reichte die Ausgleichskasse am 8. Juni 2000 und am 22. August 2000 Klage ein. Das Sozialversicherungsgericht des Kantons Zürich hiess die Klagen gut und verpflichtete S._ zur Bezahlung von Schadenersatz von insgesamt Fr. 463'744.25 (Entscheid vom 9. Januar 2002, Rektifikate vom 24. und 29. Januar 2002). Das Eidgenösssische Versicherungsgericht hiess die hiegegen erhobene Verwaltungsgerichtsbeschwerde mit Urteil vom 7. Januar 2004 in dem Sinne gut, als es an die Ausgleichskasse zurückwies, damit diese die von S._ geschuldete Schadenersatzsumme im Sinne der Erwägungen ermittle und hernach neu verfüge.
B. Mit Verfügung vom 15. Oktober 2004, bestätigt mit Einspracheentscheid vom 29. November 2004, verpflichtete die Ausgleichskasse S._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge für die Zeit ab 1. Oktober 1998 in der Höhe von Fr. 154'952.75.
B. Mit Verfügung vom 15. Oktober 2004, bestätigt mit Einspracheentscheid vom 29. November 2004, verpflichtete die Ausgleichskasse S._ zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge für die Zeit ab 1. Oktober 1998 in der Höhe von Fr. 154'952.75.
C. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2006 ab.
C. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. Februar 2006 ab.
D. S._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Die Ausgleichskasse und das Bundesamt für Sozialversicherungen verzichten auf eine Stellungnahme.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (BGE 131 V 426 Erw. 1 mit Hinweis).
1. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (BGE 131 V 426 Erw. 1 mit Hinweis).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. 3.1 Das Sozialversicherungsgericht des Kantons Zürich prüfte in seinem Entscheid vom 9. Januar 2002 den Schaden eingehend und verwarf den Einwand der mangelnden Substanziierung (Erw. 7). In seiner hiegegen erhobenen Verwaltungsgerichtsbeschwerde vom 7. März 2002 äusserte sich der Beschwerdeführer nicht zur Schadenshöhe, sondern bestritt lediglich sein Verschulden. Das Eidgenössische Versicherungsgericht hielt mit Urteil vom 7. Januar 2004 (H 69/02) fest, auf Grund der verbindlichen Feststellung des kantonalen Gerichts (Art. 105 Abs. 2 OG) sei davon auszugehen, dass die A._ AG bis und mit Februar 1999 Löhne ausbezahlt habe (Erw. 4.1). Weiter kam es zum Schluss, der Beschwerdeführer habe infolge Überschuldung der Gesellschaft bei erneutem Eintritt in den Verwaltungsrat für die Beiträge jener Zeit, in welcher er nicht dem Verwaltungsrat angehörte (bis Ende September 1998), nicht einzustehen; er hafte aber infolge grobfahrlässiger Verursachung für den Schaden, welcher auf den nach dem 1. Oktober 1998 erfolgten Lohnzahlungen beruht (Erw. 4.2 und 4.3). Auf Grund der Akten konnte das Gericht jedoch nicht feststellen, welcher Teil des Gesamtschadens auf Beiträge für die Zeit nach dem 1. Oktober 1998 zurückzuführen ist. Gestützt auf die Rechtsprechung von SVR 1999 AHV Nr. 10 S. 29 Erw. 3b wies das Eidgenössische Versicherungsgericht die Sache an die Ausgleichskasse zurück, damit sie den vom Beschwerdeführer geschuldeten Betrag ermittle (Erw. 4.4). Streitig kann demnach nur noch sein, welcher Betrag des gesamten Schadens von Fr. 463'744.25 auf die nach dem 1. Oktober 1998 ausbezahlten Löhne zurückzuführen und somit vom Beschwerdeführer zu erstatten ist.
3.2 Der Beschwerdeführer bestreitet in seiner Verwaltungsgerichtsbeschwerde, dass von der A._ AG nach dem 1. Oktober 1998 überhaupt noch Löhne ausbezahlt worden seien, und macht dafür verschiedene Umstände geltend, insbesondere dass die B._ AG und nicht die A._ AG die Löhne nach dem 1. Oktober 1998 geleistet habe. Diese Ausführungen gehen am Streitgegenstand vorbei, da nach dem Gesagten mit Entscheid vom 9. Januar 2002 und Urteil vom 7. Januar 2004 verbindlich feststeht, dass die A._ AG bis Ende Februar 1999 Löhne bezahlt hat.
3.2 Der Beschwerdeführer bestreitet in seiner Verwaltungsgerichtsbeschwerde, dass von der A._ AG nach dem 1. Oktober 1998 überhaupt noch Löhne ausbezahlt worden seien, und macht dafür verschiedene Umstände geltend, insbesondere dass die B._ AG und nicht die A._ AG die Löhne nach dem 1. Oktober 1998 geleistet habe. Diese Ausführungen gehen am Streitgegenstand vorbei, da nach dem Gesagten mit Entscheid vom 9. Januar 2002 und Urteil vom 7. Januar 2004 verbindlich feststeht, dass die A._ AG bis Ende Februar 1999 Löhne bezahlt hat.
4. Zu prüfen bleibt die Aufteilung des Gesamtschadens auf die Zeit vor und nach dem 1. Oktober 1998.
4.1 Vorinstanz und Verwaltung legten dieser Aufteilung den Revisionsbericht vom 18. Oktober 1999 und die im Rahmen der Arbeitgeberkontrolle erstellten Jahresabrechnungen für 1998 und 1999 sowie die Auszüge aus dem Konto der konkursiten Arbeitgeberin bei der Ausgleichskasse zugrunde. Der Revisor stützte sich anlässlich der Arbeitgeberkontrolle vom 14. Oktober 1999, welche auf dem Konkursamt (Notariat) stattfand, auf die Aussagen des Konkursbeamten, des Treuhänders und eines Verwaltungsrats der B._ AG sowie auf die beim Konkursamt befindlichen Unterlagen der A._ AG. Zu letzteren gehören namentlich die Lohnabrechnungen für 1999, die Lohnausweise für 1998, Bilanz und Erfolgsrechnung für 1997 und 1998, Lohn- und andere Konti im Hauptbuch für 1997 und 1998 sowie Kassabuch, Bankbuch und PC-Unterlagen.
4.2 Der Beschwerdeführer bringt in seiner Verwaltungsgerichtsbeschwerde nichts vor, das darauf schliessen liesse, dass im noch strittigen Punkt (Aufteilung des mit Urteil vom 7. Januar 2004 bestätigten Gesamtschadens auf die Zeit vor und nach dem 1. Oktober 1998) der Sachverhalt von Vorinstanz und Verwaltung offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde oder dass das Abstellen auf den Bericht der Arbeitgeberkontrolle Bundesrecht verletzt (vgl. Erw. 2). Daran ändert auch der Umstand nichts, dass der Revisor bei seiner Arbeit u.a. einen Verwaltungsrat der B._ AG als Auskunftsperson beigezogen hat. Denn einerseits beruht der Revisionsbericht im Wesentlichen auf den sich beim Konkursamt befindenden Unterlagen der konkursiten Arbeitgeberin; andererseits legt der Beschwerdeführer nicht dar, welche Feststellung im Revisionsbericht auf eine (unzutreffende) Auskunft dieses Verwaltungsrats zurückzuführen wäre.
4.2 Der Beschwerdeführer bringt in seiner Verwaltungsgerichtsbeschwerde nichts vor, das darauf schliessen liesse, dass im noch strittigen Punkt (Aufteilung des mit Urteil vom 7. Januar 2004 bestätigten Gesamtschadens auf die Zeit vor und nach dem 1. Oktober 1998) der Sachverhalt von Vorinstanz und Verwaltung offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde oder dass das Abstellen auf den Bericht der Arbeitgeberkontrolle Bundesrecht verletzt (vgl. Erw. 2). Daran ändert auch der Umstand nichts, dass der Revisor bei seiner Arbeit u.a. einen Verwaltungsrat der B._ AG als Auskunftsperson beigezogen hat. Denn einerseits beruht der Revisionsbericht im Wesentlichen auf den sich beim Konkursamt befindenden Unterlagen der konkursiten Arbeitgeberin; andererseits legt der Beschwerdeführer nicht dar, welche Feststellung im Revisionsbericht auf eine (unzutreffende) Auskunft dieses Verwaltungsrats zurückzuführen wäre.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Der unterliegende Beschwerdeführer hat somit die Gerichtskosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 6000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 6000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 6. Dezember 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer: Die Gerichtsschreiberin: