Sachverhalt:
Sachverhalt:
A. Die 1985 gegründete M._ AG war der Ausgleichskasse des Kantons St. Gallen (nachfolgend: Ausgleichskasse) als beitragspflichtige Arbeitgeberin angeschlossen. S._ war von 1990 bis 7. Mai 1999 als Verwaltungsratspräsident mit Kollektivunterschrift zu zweien, E._ während dieser Zeit als Delegierter des Verwaltungsrats mit Einzelunterschrift, danach als einziges Verwaltungsratsmitglied im Handelsregister eingetragen. Im Juni 2001 wurde die Firma in B._ AG umgeändert und am 13. Juli 2001 über die Gesellschaft der Konkurs eröffnet.
Mit Verfügungen vom 13. September 2002 verpflichtete die Ausgleichskasse die beiden Organe zur Leistung von Schadenersatz gemäss Art. 52 AHVG für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) in solidarischer Haftbarkeit in unterschiedlicher Höhe: E._ zu Fr. 550'951.80 (bundesrechtlicher Teil Fr. 541'856.35, kantonalrechtlicher Teil Fr. 9'095.45) und S._ zu Fr. 74'406.85 (bundesrechtlicher Teil Fr. 69'583.10, kantonalrechtlicher Teil Fr. 4'823.75). Dagegen erhoben beide Betroffenen Einspruch.
Mit Verfügungen vom 13. September 2002 verpflichtete die Ausgleichskasse die beiden Organe zur Leistung von Schadenersatz gemäss Art. 52 AHVG für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) in solidarischer Haftbarkeit in unterschiedlicher Höhe: E._ zu Fr. 550'951.80 (bundesrechtlicher Teil Fr. 541'856.35, kantonalrechtlicher Teil Fr. 9'095.45) und S._ zu Fr. 74'406.85 (bundesrechtlicher Teil Fr. 69'583.10, kantonalrechtlicher Teil Fr. 4'823.75). Dagegen erhoben beide Betroffenen Einspruch.
B. Mit Entscheid vom 26. September 2003 hiess das Versicherungsgericht des Kantons St. Gallen die von der Ausgleichskasse erhobene Klage im verfügten Umfang gegen E._ vollumfänglich gut und entschied, S._ hafte bis zum bundesrechtlichen Betrag von Fr. 62'314.75 und bis zum kantonalrechtlichen Betrag von Fr. 4'086.65 solidarisch. Die ebenfalls im verfügten Umfang erhobene Klage gegen S._ hiess es mit demselben Entscheid in reduziertem Umfang von Fr. 66'401.40 (bundesrechtlicher Teil Fr. 62'314.75, kantonalrechtlicher Teil Fr. 4'086.65) teilweise gut, mit solidarischer Haftbarkeit von E._ für diesen Betrag.
B. Mit Entscheid vom 26. September 2003 hiess das Versicherungsgericht des Kantons St. Gallen die von der Ausgleichskasse erhobene Klage im verfügten Umfang gegen E._ vollumfänglich gut und entschied, S._ hafte bis zum bundesrechtlichen Betrag von Fr. 62'314.75 und bis zum kantonalrechtlichen Betrag von Fr. 4'086.65 solidarisch. Die ebenfalls im verfügten Umfang erhobene Klage gegen S._ hiess es mit demselben Entscheid in reduziertem Umfang von Fr. 66'401.40 (bundesrechtlicher Teil Fr. 62'314.75, kantonalrechtlicher Teil Fr. 4'086.65) teilweise gut, mit solidarischer Haftbarkeit von E._ für diesen Betrag.
C. Mit Verwaltungsgerichtsbeschwerde beantragt S._, der angefochtene Entscheid sei aufzuheben, soweit er bezüglich des bundesrechtlichen Teils solidarisch haftbar erklärt und zu einer Zahlung verpflichtet werde; eventualiter sei die Sache zur Durchführung des Beweisverfahrens und zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung. Der als Mitinteressierter beigeladene E._ lässt sich ebenfalls nicht vernehmen.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung. Der als Mitinteressierter beigeladene E._ lässt sich ebenfalls nicht vernehmen.
D. Am 29. Januar 2004 reichte S._ zudem eine Vereinbarung zwischen der Ausgleichskasse und E._ betreffend Tilgung der Schadenersatzforderung ein.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Zwar ist der Verwaltungsprozess vom Untersuchungsgrundsatz beherrscht, wonach Verwaltung und Gericht von sich aus für die richtige und vollständige Abklärung des Sachverhalts zu sorgen haben; doch entbindet das die Rechtsuchenden nicht davon, selber die Beanstandungen vorzubringen, die sie anzubringen haben (Rügepflicht), und ihrerseits zur Feststellung des Sachverhalts beizutragen (Mitwirkungspflicht). Unzulässig und mit der weit gehenden Bindung des Eidgenössischen Versicherungsgerichts an die vorinstanzliche Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 OG unvereinbar ist es darum, neue tatsächliche Behauptungen und neue Beweismittel erst im letztinstanzlichen Verfahren vorzubringen, obwohl sie schon im kantonalen Beschwerdeverfahren hätten geltend gemacht werden können und - in Beachtung der Mitwirkungspflicht - hätten geltend gemacht werden müssen. Solche (verspätete) Vorbringen sind nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz als mangelhaft im Sinne von Art. 105 Abs. 2 OG erscheinen zu lassen (<ref-ruling> Erw. 1c, AHI 1994 S. 211 Erw. 2b mit Hinweisen).
1.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Zwar ist der Verwaltungsprozess vom Untersuchungsgrundsatz beherrscht, wonach Verwaltung und Gericht von sich aus für die richtige und vollständige Abklärung des Sachverhalts zu sorgen haben; doch entbindet das die Rechtsuchenden nicht davon, selber die Beanstandungen vorzubringen, die sie anzubringen haben (Rügepflicht), und ihrerseits zur Feststellung des Sachverhalts beizutragen (Mitwirkungspflicht). Unzulässig und mit der weit gehenden Bindung des Eidgenössischen Versicherungsgerichts an die vorinstanzliche Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 OG unvereinbar ist es darum, neue tatsächliche Behauptungen und neue Beweismittel erst im letztinstanzlichen Verfahren vorzubringen, obwohl sie schon im kantonalen Beschwerdeverfahren hätten geltend gemacht werden können und - in Beachtung der Mitwirkungspflicht - hätten geltend gemacht werden müssen. Solche (verspätete) Vorbringen sind nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz als mangelhaft im Sinne von Art. 105 Abs. 2 OG erscheinen zu lassen (<ref-ruling> Erw. 1c, AHI 1994 S. 211 Erw. 2b mit Hinweisen).
2. 2.1 Wie die Vorinstanz zutreffend ausgeführt hat, findet das auf den 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000, mit welchem zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach Art. 52 AHVG (Art. 52 Abs. 3 und 4 AHVG, eingefügt durch Anhang Ziff. 7 ATSG), geändert worden sind, keine Anwendung, weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3, 129 V 4 Erw. 1.2).
2.2 Die Vorinstanz hat die Bestimmungen über die Arbeitgeberhaftung (Art. 52 AHVG; Art. 14 Abs. 1 AHVG in Verbindung mit Art. 34 ff. AHVV) sowie die hiezu ergangene Rechtsprechung, insbesondere über Eintritt und Kenntnis des Schadens (<ref-ruling> Erw. 3), die subsidiäre Haftung der Organe eines Arbeitgebers (<ref-ruling>, 123 V 15 Erw. 5b, je mit Hinweisen), den zu ersetzenden Schaden (<ref-ruling> Erw. 3a, 123 V 15 Erw. 5b, je mit Hinweisen), die erforderliche Widerrechtlichkeit (<ref-ruling> Erw. 2a mit Hinweisen), die Haftungsvoraussetzung des qualifizierten Verschuldens und den dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a, ZAK 1992 S. 248 Erw. 4b, je mit Hinweisen; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach Art. 52 AHVG, in: AJP 9/96, S. 1081) sowie den adäquaten Kausalzusammenhang (<ref-ruling> Erw. 5a) zutreffend wiedergegeben. Darauf kann verwiesen werden.
Zu ergänzen ist, dass nach ständiger Rechtsprechung zu Art. 52 AHVG (<ref-ruling> Erw. 3a, 112 V 4 Erw. 3c, AHI 1996 S. 293 Erw. 5) die Verantwortlichkeit eines Verwaltungsrates in der Regel längstens bis zum Moment seines tatsächlichen Austritts aus dem Verwaltungsrat dauert, also dem Zeitpunkt, in welchem er keinen massgeblichen Einfluss mehr auf den Geschäftsgang hat. Das hat selbst dann zu gelten, wenn die Löschung des Eintrages im Handelsregister unterlassen oder erst später vorgenommen wird (<ref-ruling> Erw. 4c). Ebenso ist der tatsächliche Austritt massgebend in Fällen, in denen das Organ den Rücktritt selbst erst nach seinem effektiven Ausscheiden erklärt, und nicht etwa erst der Tag der Demissionserklärung; das gilt jedenfalls dann, wenn die Betroffenen bereits vor ihrer Demission keinen Einfluss mehr auf den Gang der Geschäfte und auch keine Entschädigung für ihre Verwaltungsratsstellung erhalten haben und dies auch dartun können. In Bezug auf die geschuldeten Beiträge bedeutet das, dass das Organ für die zwischen seinem tatsächlichen Eintritt und tatsächlichen Austritt aus der Arbeitgeberfirma fällig gewordenen sowie für die beim Eintritt bereits fällig gewesenen Beiträge haftet. Die Haftung erstreckt sich daher grundsätzlich auf unbezahlt gebliebene Sozialversicherungsbeiträge, die während der Zeitspanne zwischen dem tatsächlichen Eintritt und tatsächlichen Austritt aus der Arbeitgeberfirma, also der Dauer der tatsächlichen Einflussnahme auf die Geschäftsführung fällig werden und hätten entrichtet werden müssen (AHI 2002 S. 54). Werden nach dem Austritt aus der Firma oder nach der Konkurseröffnung nicht abgerechnete Lohnzahlungen festgestellt, welche diese Zeitspanne beschlagen, so besteht demnach auch noch eine Haftung des bereits ausgeschiedenen Organs (<ref-ruling> und 134, 123 V 172). Keine Haftung besteht für nach dem tatsächlichen Austritt fällig gewordene Beiträge, es sei denn, der Schaden gehe auf Handlungen des ehemaligen Organs zurück, welche sich erst nach dessen Ausscheiden ausgewirkt haben (Urteil F. vom 6. Februar 2003, H 263/02, Erw. 3.2).
3. Wie die Vorinstanz verbindlich festgestellt hat (vgl. Erw. 1.1 hievor), setzt sich die gesamte Schadenersatzforderung aus offenen Beiträgen der Jahre 1999 bis 2001 zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen in der Höhe von Fr. 550'951.80 zusammen; die konkursite Gesellschaft entrichtete die geschuldeten Beiträge über Jahre nur schleppend und schliesslich gar nicht mehr. Damit verstiess sie grobfahrlässig gegen die Vorschriften von Art. 14 Abs. 1 AHVG in Verbindung mit Art. 34 ff. AHVV (in der bis 31. Dezember 2000 gültig gewesenen Fassung), was grundsätzlich die volle Schadenersatzpflicht gemäss Art. 52 AHVG nach sich zieht (<ref-ruling> Erw. 2a mit Hinweisen).
3.1 Wie die Vorinstanz verbindlich festgestellt hat (vgl. Erw. 1.1 hievor), setzt sich die gesamte Schadenersatzforderung aus offenen Beiträgen der Jahre 1999 bis 2001 zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen in der Höhe von Fr. 550'951.80 zusammen; die konkursite Gesellschaft entrichtete die geschuldeten Beiträge über Jahre nur schleppend und schliesslich gar nicht mehr. Damit verstiess sie grobfahrlässig gegen die Vorschriften von Art. 14 Abs. 1 AHVG in Verbindung mit Art. 34 ff. AHVV (in der bis 31. Dezember 2000 gültig gewesenen Fassung), was grundsätzlich die volle Schadenersatzpflicht gemäss Art. 52 AHVG nach sich zieht (<ref-ruling> Erw. 2a mit Hinweisen).
Die gegenüber dem Beschwerdeführer geltend gemachte Schadenersatzforderung umfasst, wie die Vorinstanz ebenfalls verbindlich festgestellt hat, die Schlussrechnung 1998, die nicht bezahlten Monatspauschalen für Februar und März 1999 sowie die - von der Ausgleichskasse im Rahmen der vorinstanzlichen Replik nachträglich reduzierten - Verzugszinsen in der Höhe von Fr. 66'401.40, wobei hier der bundesrechtliche Teil in der Höhe von Fr. 62'314.75 streitig ist. Es ist deshalb zu prüfen, ob und inwieweit das Verschulden der Arbeitgeberin dem Beschwerdeführer als grobfahrlässiges Verhalten, das die Schadenersatzpflicht nach sich zieht, anzurechnen ist.
3.2 Der Beschwerdeführer stellt sich auf den Standpunkt, es könne ihm kein Verschulden angelastet werden. Er bringt dazu im Wesentlichen vor, er hafte für die ausstehenden Beiträge nicht, da diese erst kurz vor seinem Ausscheiden bzw. danach in Rechnung gestellt worden seien.
3.2.1 Was zunächst den Zeitpunkt der tatsächlichen Beendigung seines Verwaltungsratsmandates betrifft, ist festzustellen, dass er faktisch am 19. April 1999 aus dem Verwaltungsrat ausgeschieden ist: Mit Schreiben vom 19. April 1999 hat er dem Handelsregisteramt sein Ausscheiden aus dem Verwaltungsrat mitgeteilt. Entgegen seiner Auffassung kann auf sein Schreiben vom 13. April 1999 an E._ nicht abgestellt werden, stand dieses doch unter dem Vorbehalt des Ausgangs einer Verwaltungsratssitzung vom 14. April 1999, nachdem der Beschwerdeführer darin ausführt, für eine allfällige Fortsetzung des Mandats müssten neue Rahmenbedingungen festgesetzt werden.
Soweit sich der Beschwerdeführer in diesem Zusammenhang auf den Exkulpationsgrund der kurzen Dauer des Beitragsausstandes beruft, ist festzuhalten, dass zwar die relativ kurze Dauer des Beitragsausstandes gegen einen Normverstoss von einer gewissen Schwere sprechen kann; dabei ist aber immer eine Würdigung sämtlicher konkreten Umstände des Einzelfalles vorzunehmen. Die Frage der Dauer des Normverstosses ist somit ein Beurteilungskriterium, welches im Rahmen der Gesamtwürdigung zu berücksichtigen ist und in diesem Rahmen im Sinne der Rechtsprechung zu den Entlastungsgründen (<ref-ruling> f. Erw. 1b, 200 f. Erw. 1) zur Verneinung der Schadenersatzpflicht führen kann (<ref-ruling> Erw. 4b mit Hinweis).
Die Rechnungen der Monatspauschalen für Februar und März 1999 wurden am 9. Februar 1999 bzw. 11. März 1999 zugestellt, wobei es sich beim angegebenen Zustelldatum der März-Rechnung - wie die Vorinstanz verbindlich festgestellt hat (Erw. 1.1) - zweifellos um einen Verschrieb handelt, wie auch aus den Konto-Auszügen der Ausgleichskasse hervorgeht. Sie wurden damit kurz vor dem Ausscheiden des Beschwerdeführers aus dem Verwaltungsrat fällig. Ein solcher kurzer Beitragsausstandes führt nicht zwangsläufig zu einer Entlastung des verantwortlichen Organes. So wurde ein Organ einer GmbH unter Berücksichtigung eines solchen Beitragsausstandes zwar entlastet, dabei wurde indes neben der geringen Höhe des Schadensbetrages und der kurzen Dauer der Abrechnungspflicht der Gesellschaft auch berücksichtigt, dass der Geschäftsführer selbst durch Bilanzdeponierung den Konkurs einleitete und so grösseren Schaden verhinderte (Urteil M. vom 2. Juli 2003, H 179/01; vgl. demgegenüber die Annahme eines Verschuldens im Zusammenhang mit einer zu spät abgelieferten Lohnbescheinigung und erfolgten Mahnungen für Beiträge im Urteil Z. vom 24. Dezember 2003, H 48/03). Vorliegend kann, wie das kantonale Gericht ebenfalls zutreffend dargelegt hat, nicht ausser Acht gelassen werden, dass neben diesen ausstehenden Beitragspauschalen auch die Schlussrechnung unbezahlt blieb, zudem Zahlungen der Gesellschaft über Jahre hinweg jeweils verspätet erfolgten und diese gemahnt und betrieben werden musste. Unter diesen Umständen kann sich der Beschwerdeführer nicht auf den Exkulpationsgrund der kurzen Dauer der Ausstände berufen.
Was die am 21. September 2001, mithin nach seinem effektiven Ausscheiden aus dem Verwaltungsrat in Rechnung gestellten Verzugszinsen betrifft, sind diese vom Beschwerdeführer, welcher für die Beitragsausstände verantwortlich ist, mindestens solange mitverursacht worden (<ref-ruling> Erw. 4a mit Hinweisen), als er sein Mandat noch innehatte und für die rechtzeitige Bezahlung der Beiträge sorgen konnte, weshalb er dafür ebenso haftet. Die Ausgleichskasse hat denn auch in ihrer vorinstanzlichen Replik die Verzugszinsen neu bis zu seinem Ausscheiden berechnet, was Verzugszinsen in der Höhe von Fr. 11'167.95 ergab.
Soweit der Beschwerdeführer in diesem Zusammenhang erneut vorbringt, er sei auch schon vor seinem Rücktritt aus dem Verwaltungsrat ausser Stande gewesen, das Zahlungsverhalten der Unternehmung zu beeinflussen, übersieht er, dass ihm als Verwaltungsratspräsident nach Art. 716a Abs. 1 Ziff. 5 OR zwingend die Pflicht zur Oberaufsicht über die mit der Geschäftsführung betrauten Personen obliegt, welcher er sich allein durch Delegation der Aufgaben nicht entledigen kann (<ref-ruling> Erw. 5b, 114 V 223 Erw. 4a, 108 V 202 Erw. 3a; ZAK 1985 S. 620 Erw. 3b, je mit Hinweisen) und welche er nicht wahrgenommen hat. Im Übrigen liegen entgegen seiner Auffassung auch keinerlei Anhaltspunkte für eine begründete Aussicht auf Sanierung der Gesellschaft vor (<ref-ruling> Erw. 2, bestätigt in <ref-ruling>).
3.2.2 Im Weiteren wendet der Beschwerdeführer erneut ein, er habe der Ausgleichskasse für die ausstehenden Beiträge angemessene Sicherheit in Form eines Grundpfandes geboten. Die Ausgleichskasse habe indessen die Belehnung einer Viereinhalbzimmer-Stockwerkeigentumswohnung in A._ im Wert von Fr. 500'000.- abgelehnt, weshalb sie sich den Beitragsausstand selbst zuzuschreiben habe.
Das kantonale Gericht hat hiezu erwogen, der Beschwerdeführer habe sich am 15. September 2000 beim zuständigen Sachbearbeiter der Ausgleichskasse erkundigt, "ob noch offene Beitragsforderungen für das Jahr 1999 durch eine Grundpfandabtretung sichergestellt und vorläufig auf Eis gelegt werden könnten". Ein konkretes Angebot hat der Beschwerdeführer der Ausgleichskasse indes nach den verbindlichen Feststellungen der Vorinstanz (vgl. Erw. 1.1 hievor) nicht gemacht. Insbesondere hat er diesbezüglich keinen Antrag um Zahlungsaufschub im Sinne von Art. 34b Abs. 1 AHVV gestellt. Es kann daher nicht gesagt werden, die Ausgleichskasse habe sich Pflichtverletzungen zu schulden kommen lassen, welche die Herabsetzung der Schadenersatzforderung rechtfertigen würden (<ref-ruling> Erw. 3c). Dem Beschwerdeführer als Rechtsanwalt mussten die Voraussetzungen für einen Zahlungsaufschub im Sinne der AHV-Gesetzgebung bekannt sein. Dass er in diesem Zusammenhang einen ordnungsgemässen Antrag auf Zahlungsschub eingereicht hätte, macht er selbst nicht geltend.
3.2.3 Schliesslich macht der Beschwerdeführer unter Verweis auf eine neu ins Recht gelegte Vereinbarung geltend, im Parallelprozess habe sich die Ausgleichskasse mit dem ehemaligen Firmeninhaber E._ auf eine Vergleichssumme von Fr. 250'000.- per Saldo aller Ansprüche geeinigt. Damit sei auch der ihn betreffende Teilanspruch abgegolten.
Dazu ist zunächst festzuhalten, dass die neu ins Recht gelegte Vereinbarung zwar nicht datiert ist, jedoch auf Grund der darin festgesetzten Zahlungsfristen davon ausgegangen werden kann, dass diese bei Einreichung der Verwaltungsgerichtsbeschwerde noch nicht vorlag bzw. dem Beschwerdeführer noch nicht bekannt war, weshalb sie grundsätzlich berücksichtigt werden kann (vgl. Erw. 1.2 hievor). Gleichwohl kann der Beschwerdeführer daraus nichts zu seinen Gunsten ableiten, betrifft die fragliche Forderung doch E._ und nicht ihn selber; die Ausgleichskasse konnte auf die Vollstreckung gegenüber Letzterem gar nicht verzichten, da die Forderung vor dem Entscheid des Eidgenössischen Versicherungsgerichts gar noch nicht feststeht. Ob ein solcher entsprechender Verzicht zustande kommt, wird sich erst nach Abschluss des vorliegenden Verfahrens weisen.
Dazu ist zunächst festzuhalten, dass die neu ins Recht gelegte Vereinbarung zwar nicht datiert ist, jedoch auf Grund der darin festgesetzten Zahlungsfristen davon ausgegangen werden kann, dass diese bei Einreichung der Verwaltungsgerichtsbeschwerde noch nicht vorlag bzw. dem Beschwerdeführer noch nicht bekannt war, weshalb sie grundsätzlich berücksichtigt werden kann (vgl. Erw. 1.2 hievor). Gleichwohl kann der Beschwerdeführer daraus nichts zu seinen Gunsten ableiten, betrifft die fragliche Forderung doch E._ und nicht ihn selber; die Ausgleichskasse konnte auf die Vollstreckung gegenüber Letzterem gar nicht verzichten, da die Forderung vor dem Entscheid des Eidgenössischen Versicherungsgerichts gar noch nicht feststeht. Ob ein solcher entsprechender Verzicht zustande kommt, wird sich erst nach Abschluss des vorliegenden Verfahrens weisen.
4. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Ausgang des Verfahrens entsprechend gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 4'000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, dem Bundesamt für Sozialversicherung und E._ zugestellt.
Luzern, 13. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Die Gerichtsschreiberin: