Sachverhalt:
Sachverhalt:
A. S._ war ab 11. August 2000 Delegierter des Verwaltungsrates mit Kollektivzeichnungsberechtigung zu zweien der Firma X._. Da die Bilanz per 31. Dezember 2001 eine massive Überschuldung zeigte, beschloss der Verwaltungsrat am 2. April 2001 gemäss <ref-law> den Richter zu benachrichtigen (Protokoll VR-Sitzung vom 2. April 2001), was am 9. April 2001 geschah. Nachdem die Muttergesellschaft einen Forderungsverzicht von Fr. 7'204'000.-- geleistet hatte, stellte das Kantonsgericht Zug fest, dass die Überschuldung beseitigt war und schrieb das Verfahren betr. Konkurseröffnung/Konkursaufschub als erledigt ab. In der Folge kauften E._ und S._ mit Vertrag vom 9. Mai 2001 von der Muttergesellschaft sämtliche 2100 Namenaktien der Firma X._ zum Preise von je Fr. 1.--, worauf die bisherigen Verwaltungsräte zurücktraten und E._ am 18. Juni 2001 als Verwaltungsratspräsident sowie S._ als Mitglied und Delegierter des Verwaltungsrates, je mit Kollektivzeichnungsberechtigung zu zweien, im Handelsregister eingetragen wurden. Am 30. Oktober 2001 wurde über die Gesellschaft der Konkurs eröffnet und am 16. April 2004 der Kollokationsplan aufgelegt. Mit Verfügung vom 19. August 2004 verpflichtete die Ausgleichskasse Zug (nachfolgend Ausgleichskasse) S._ zur Bezahlung von Schadenersatz gemäss <ref-law> für nicht bezahlte Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) im Betrage von Fr. 154'047.80. Die dagegen erhobene Einsprache hiess sie mit Einspracheentscheid vom 25. August 2005 teilweise dahingehend gut, dass sie die Schadenersatzforderung unter Anrechnung der Konkursdividende von Fr. 11'279.85 auf Fr. 142'767.95 herabsetzte.
A. S._ war ab 11. August 2000 Delegierter des Verwaltungsrates mit Kollektivzeichnungsberechtigung zu zweien der Firma X._. Da die Bilanz per 31. Dezember 2001 eine massive Überschuldung zeigte, beschloss der Verwaltungsrat am 2. April 2001 gemäss <ref-law> den Richter zu benachrichtigen (Protokoll VR-Sitzung vom 2. April 2001), was am 9. April 2001 geschah. Nachdem die Muttergesellschaft einen Forderungsverzicht von Fr. 7'204'000.-- geleistet hatte, stellte das Kantonsgericht Zug fest, dass die Überschuldung beseitigt war und schrieb das Verfahren betr. Konkurseröffnung/Konkursaufschub als erledigt ab. In der Folge kauften E._ und S._ mit Vertrag vom 9. Mai 2001 von der Muttergesellschaft sämtliche 2100 Namenaktien der Firma X._ zum Preise von je Fr. 1.--, worauf die bisherigen Verwaltungsräte zurücktraten und E._ am 18. Juni 2001 als Verwaltungsratspräsident sowie S._ als Mitglied und Delegierter des Verwaltungsrates, je mit Kollektivzeichnungsberechtigung zu zweien, im Handelsregister eingetragen wurden. Am 30. Oktober 2001 wurde über die Gesellschaft der Konkurs eröffnet und am 16. April 2004 der Kollokationsplan aufgelegt. Mit Verfügung vom 19. August 2004 verpflichtete die Ausgleichskasse Zug (nachfolgend Ausgleichskasse) S._ zur Bezahlung von Schadenersatz gemäss <ref-law> für nicht bezahlte Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) im Betrage von Fr. 154'047.80. Die dagegen erhobene Einsprache hiess sie mit Einspracheentscheid vom 25. August 2005 teilweise dahingehend gut, dass sie die Schadenersatzforderung unter Anrechnung der Konkursdividende von Fr. 11'279.85 auf Fr. 142'767.95 herabsetzte.
B. Beschwerdeweise liess S._ beantragen, die Schadenersatzverfügung sei aufzuheben. Das Verwaltungsgericht des Kantons Zug führte einen doppelten Schriftenwechsel durch und hiess die Beschwerde mit Entscheid vom 28. September 2006 teilweise dahingehend gut, dass es die Sache zur "masslichen Neufestsetzung" der Schadenersatzforderung im Sinne der Erwägungen an die Ausgleichskasse zurückwies. Im Übrigen wies es die Beschwerde ab.
B. Beschwerdeweise liess S._ beantragen, die Schadenersatzverfügung sei aufzuheben. Das Verwaltungsgericht des Kantons Zug führte einen doppelten Schriftenwechsel durch und hiess die Beschwerde mit Entscheid vom 28. September 2006 teilweise dahingehend gut, dass es die Sache zur "masslichen Neufestsetzung" der Schadenersatzforderung im Sinne der Erwägungen an die Ausgleichskasse zurückwies. Im Übrigen wies es die Beschwerde ab.
C. S._ lässt dagegen Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, den angefochtenen Entscheid aufzuheben.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, hat sich das Bundesamt für Sozialversicherungen hiezu nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1. Der kantonale Entscheid ist vor dem 1. Januar 2007 ergangen, weshalb das Bundesgesetz über das Bundesgericht (BGG) vom 17. Juni 2005 noch nicht anwendbar ist (<ref-law>). Die Kognition richtet sich noch nach Art. 132 OG. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Bundesgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1. Der kantonale Entscheid ist vor dem 1. Januar 2007 ergangen, weshalb das Bundesgesetz über das Bundesgericht (BGG) vom 17. Juni 2005 noch nicht anwendbar ist (<ref-law>). Die Kognition richtet sich noch nach Art. 132 OG. Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Bundesgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (<ref-ruling> E. 1 S. 426 mit Hinweis).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (<ref-ruling> E. 1 S. 426 mit Hinweis).
3. In rechtlicher Hinsicht hat die Vorinstanz die zu den einzelnen Haftungsvoraussetzungen nach <ref-law> (Schaden, Widerrechtlichkeit, Kausalität, qualifiziertes Verschulden, Verwirkung) ergangene Rechtsprechung, soweit für die Beurteilung der Sache im vorliegenden Fall von Belang, zutreffend dargelegt. Darauf kann verwiesen werden.
3. In rechtlicher Hinsicht hat die Vorinstanz die zu den einzelnen Haftungsvoraussetzungen nach <ref-law> (Schaden, Widerrechtlichkeit, Kausalität, qualifiziertes Verschulden, Verwirkung) ergangene Rechtsprechung, soweit für die Beurteilung der Sache im vorliegenden Fall von Belang, zutreffend dargelegt. Darauf kann verwiesen werden.
4. 4.1 Der Beschwerdeführer bestreitet sinngemäss, dass ihm eine qualifiziert schuldhafte Missachtung der Vorschriften über die Beitragsbezahlung (<ref-law>; <ref-law>) vorgeworfen werden könne, da nach durchgeführtem Management-Buy-Out (Aktienkauf) E._ als Geschäftsführer und "Finanzchef" der Firma X._ fungiert habe. Der Beschwerdeführer selbst sei mit der Restrukturierung der Gesellschaft und der Leitung des Verkaufs betraut gewesen. Für die Zahlung der Sozialversicherungsbeiträge sei allein E._ verantwortlich gewesen. Trotz dieser Aufgabenteilung habe sich der Beschwerdeführer periodisch bei E._ erkundigt, ob die Sozialversicherungsbeiträge effektiv bezahlt worden seien. Dabei sei er von E._ hinters Licht geführt und getäuscht worden, weshalb er gar keine Kenntnis von den tatsächlichen Ausständen, Mahnungen und Betreibungen gehabt habe. Anhaltspunkte für das Vorliegen von Unregelmässigkeiten habe es nicht gegeben. Dass er auf die mündlichen Auskünfte von E._ vertraut habe, dürfe ihm nicht als Verschulden angelastet werden, da die Zusammenarbeit mit E._ zur Rettung der Firma X._ auf gegenseitigem Vertrauen beruht habe.
4. 4.1 Der Beschwerdeführer bestreitet sinngemäss, dass ihm eine qualifiziert schuldhafte Missachtung der Vorschriften über die Beitragsbezahlung (<ref-law>; <ref-law>) vorgeworfen werden könne, da nach durchgeführtem Management-Buy-Out (Aktienkauf) E._ als Geschäftsführer und "Finanzchef" der Firma X._ fungiert habe. Der Beschwerdeführer selbst sei mit der Restrukturierung der Gesellschaft und der Leitung des Verkaufs betraut gewesen. Für die Zahlung der Sozialversicherungsbeiträge sei allein E._ verantwortlich gewesen. Trotz dieser Aufgabenteilung habe sich der Beschwerdeführer periodisch bei E._ erkundigt, ob die Sozialversicherungsbeiträge effektiv bezahlt worden seien. Dabei sei er von E._ hinters Licht geführt und getäuscht worden, weshalb er gar keine Kenntnis von den tatsächlichen Ausständen, Mahnungen und Betreibungen gehabt habe. Anhaltspunkte für das Vorliegen von Unregelmässigkeiten habe es nicht gegeben. Dass er auf die mündlichen Auskünfte von E._ vertraut habe, dürfe ihm nicht als Verschulden angelastet werden, da die Zusammenarbeit mit E._ zur Rettung der Firma X._ auf gegenseitigem Vertrauen beruht habe.
4.2 4.2.1 Aufgrund des Kontoauszuges vom 9. September 2004 steht fest, dass die Firma X._ der Ausgleichskasse letztmals am 9. April 2001 Zahlungen von Fr. 35'394.35 und Fr. 53'423.20 für ausstehende Sozialversicherungsbeiträge leistete. Nach diesem Datum blieb die Firma bis zur Konkurseröffnung am 30. Oktober 2001 sämtliche jeweils Mitte des Folgemonates in Rechnung gestellten und ab dem 23. Juli/17. August 2001 monatlich gemahnten und betriebenen Sozialversicherungsbeiträge schuldig. Der dadurch entstandene Beitragsausstand von Fr. 154'047.80 fällt vollumfänglich in die Zeit, in der der Beschwerdeführer als Verwaltungsrat die Verantwortung für die gesetzliche Beitragspflicht trug. Er bestreitet zu Recht nicht, dass ihm als subsidiär haftendem Organ der in Konkurs gefallenen Firma deren gesetzwidriges Verhalten anzurechnen ist.
4.2.2 Soweit der Beschwerdeführer sich auf das Drittverschulden von E._ als Entlastungsgrund beruft, ist festzuhalten, dass mehrere Organe für den der Ausgleichskasse entstandenen Schaden solidarisch haften. Als Solidarschuldner hat jedes einzelne Organ für den ganzen Schaden einzustehen, und die Ausgleichskasse braucht sich um die internen Beziehungen zwischen ihnen nicht zu kümmern (<ref-ruling> E. 5a S. 87; AHI 1996 S. 293 E. 6). Das Verhalten eines von mehreren haftpflichtigen Organen vermag daher ein anderes Organ gegenüber der Ausgleichskasse nur zu entlasten, wenn es den ursächlichen Zusammenhang zwischen dem Verhalten des andern als inadäquat erscheinen lässt, oder wenn und soweit es das Verschulden des andern mildert (<ref-ruling> E. 4a S. 143, 98 II 102 E. 4 S. 104, 97 II 339 E. 3 S. 344). Eine Haftungsbeschränkung wegen mitwirkenden Drittverschuldens eines solidarisch Haftpflichtigen zieht das Bundesgericht aber bloss als eher theoretische Möglichkeit in Betracht, die, wenn überhaupt, nur bei einer ausgesprochen exzeptionellen Sachlage von praktischer Bedeutung sein kann; so etwa, wenn das Verschulden des in Anspruch genommenen Haftpflichtigen als so leicht erscheint und in einem derartigen Missverhältnis zum Verschulden des Dritten steht, dass es offensichtlich ungerecht wäre, wenn jener den ganzen Schaden tragen müsste (<ref-ruling> E. 4a S. 144). Eine solche Sachlage ist im vorliegenden Fall aus den nachstehend dargelegten Gründen nicht gegeben.
4.2.3 Der Beschwerdeführer war in der fraglichen Zeit ab Mai 2001, während der die Firma X._ überhaupt keine Sozialversicherungsbeiträge mehr bezahlt hat, neben E._ einziges Verwaltungsratsmitglied und ab 18. Juni 2001 Delegierter des Verwaltungsrates mit Kollektivzeichnungsberechtigung. Selbst wenn er entgegen dieser im Handelsregister mit positiver Publizitätswirkung (<ref-law>) eingetragenen Funktion als Geschäftsführer faktisch und in Missachtung der in Art. 716b Abs. 1 und 2 OR statuierten Delegationsvoraussetzungen die Geschäftsführung vollständig E._ überlassen hat, oblagen ihm weiterhin die allgemeine Sorgfaltspflicht nach <ref-law> und die Aufsichts- und Kontrollpflichten gemäss <ref-law>, an welche angesichts der relativ einfachen Organisationsstruktur der Firma X._ praxisgemäss hohe Anforderungen zu stellen sind (<ref-ruling> E. 3b S. 203). Diesen Anforderungen hat der Beschwerdeführer nicht genügt, wenn er sich periodisch bei E._ mündlich erkundigt hat, ob die Sozialversicherungsbeiträge bezahlt worden sind und sich mit einer ebenfalls mündlichen Bejahung seiner Nachfragen zufrieden gegeben hat. An der Verwaltungsratssitzung vom 2. April 2001 war die Bezahlung der Sozialversicherungsbeiträge ausdrücklich thematisiert worden (Protokoll vom 2. April 2001 S. 3), worauf der damalige Verwaltungsrat P._ eine Zusammenstellung aller ausstehenden Sozialversicherungsbeiträge und -prämien verlangte sowie am 9. April 2001 deren Zahlung veranlasste. Dem Beschwerdeführer war damit die vorrangige haftungsrechtliche Bedeutung, welche die Organe einer Aktiengesellschaft der sozialversicherungsrechtlichen Beitragszahlungspflicht bei der Bewältigung einer Krisensituation beizumessen haben, exemplarisch vor Augen geführt worden. Umso weniger durfte er, nachdem er und E._ alle Aktien der Gesellschaft gekauft hatten und für deren Geschicke allein verantwortlich waren, darauf verzichten, E._ förmlich und nötigenfalls unter Androhung seiner Demission als Verwaltungsrat zur Einhaltung der Verbindlichkeiten gegenüber der Ausgleichskasse anzuhalten. Auch der Umstand, dass sich ein Management-Buy-Out ohne gegenseitiges Vertrauen der neuen Exekutivorgane einer Gesellschaft nicht bewerkstelligen lässt, vermag den Beschwerdeführer nicht zu entlasten. Denn auch bei der verwaltungsratsinternen Delegation von Geschäftsführungsaufgaben kann das Vertrauen in die Einhaltung der gesetzlichen Vorschriften auf Seiten eines Mitverwaltungsrates eine Lockerung von effektiven gegenseitigen Kontrollen erst rechtfertigen, wenn sich der geschäftsführende Verwaltungsrat über lange Zeit durch eine tadellose Haltung und ausgewiesene Fachkompetenz bewährt hat. Das war bei E._, der im Frühjahr 2001 neu zur Firma X._ gestossen war und das Management-Buy-Out initiierte, bei weitem nicht der Fall. Indem der Beschwerdeführer von Mai bis Oktober 2001 überhaupt nichts Förmliches und Konkretes vorgekehrt hat, was die Entstehung und Anhäufung der monatlichen Beitragsschulden hätte verhindern können, hat er den eingetretenen Schaden schuldhaft mitverursacht. Wenn das kantonale Gericht sein Verhalten auch als grobfahrlässig qualifiziert hat, so beruht dies weder auf einer mangelhaften Feststellung des Sachverhaltes noch verstösst dies gegen Bundesrecht. Zu weiteren Abklärungen, einschliesslich der beantragten Einvernahmen der ehemaligen Mitarbeiter der Firma X._ A._ und D._ als Zeugen, besteht kein Anlass, weil davon keine neuen entscheidwesentlichen Erkenntnisse zu erwarten wären (antizipierte Beweiswürdigung; <ref-ruling> E. 4b S. 94, 122 V 157 E. 1d S. 162, je mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 4'500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 19. Juli 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: