Faits:
Faits:
A. La société X._ était affiliée en qualité d'employeur auprès de la Caisse interprofessionnelle d'assurance vieillesse et survivants de la Fédération romande des syndicats patronaux (ci-après: la caisse). E._ était inscrit depuis le 29 juin 1989 au registre du commerce en qualité d'administrateur de la société X._.
A la suite d'un contrôle d'employeur, la caisse a réclamé par décision du 2 avril 1993 le paiement d'un arriéré de cotisations portant sur les années 1989 à 1991 d'un montant de 65'928 fr. 45. Par jugement du 10 mars 1994, la Commission cantonale de recours AVS/AI/APG (ci après: la commission ; aujourd'hui: Tribunal cantonal des assurances sociales du canton de Genève) a rejeté le recours formé contre cette décision. Le recours de droit administratif interjeté contre ce jugement auprès du Tribunal fédéral des assurances a été déclaré irrecevable (arrêt du 3 novembre 1994, H 149/94). A la suite de la procédure engagée pour recouvrer le montant dû, l'Office des poursuites de Genève a délivré à la caisse le 13 août 1999 un acte de défaut de biens pour un montant de 65'753 fr. 15.
Le 24 juillet 2000, la caisse a notifié à E._ une décision en réparation du dommage. Elle réclamait le paiement de la somme de 71'504 fr. 20 correspondant, d'une part, au solde des cotisations dues pour les années 1989 à 1991 et, d'autre part, à des cotisations impayées portant sur la période 1998-1999. E._ a formé opposition en temps utile.
Le 24 juillet 2000, la caisse a notifié à E._ une décision en réparation du dommage. Elle réclamait le paiement de la somme de 71'504 fr. 20 correspondant, d'une part, au solde des cotisations dues pour les années 1989 à 1991 et, d'autre part, à des cotisations impayées portant sur la période 1998-1999. E._ a formé opposition en temps utile.
B. Par demande du 20 septembre 2000, la caisse a porté le cas devant la commission. En cours d'instance, elle a réduit ses prétentions à 61'924 fr. 95, correspondant au solde de l'arriéré de cotisations des années 1989 à 1991. Par jugement du 21 avril 2004, la juridiction cantonale a admis l'action à concurrence du montant demandé et levé l'opposition.
B. Par demande du 20 septembre 2000, la caisse a porté le cas devant la commission. En cours d'instance, elle a réduit ses prétentions à 61'924 fr. 95, correspondant au solde de l'arriéré de cotisations des années 1989 à 1991. Par jugement du 21 avril 2004, la juridiction cantonale a admis l'action à concurrence du montant demandé et levé l'opposition.
C. E._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, en concluant, sous suite de frais et dépens, à ce que la caisse soit déboutée de toutes ses prétentions.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
Considérant en droit:
1. Le litige porte sur la responsabilité du recourant dans le préjudice subi par l'intimée, aux conditions de l'art. 52 LAVS. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
1. Le litige porte sur la responsabilité du recourant dans le préjudice subi par l'intimée, aux conditions de l'art. 52 LAVS. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'AVS, notamment en ce qui concerne l'art. 52 LAVS. Désormais, la responsabilité de l'employeur est réglée de manière plus détaillée qu'auparavant à l'art. 52 LAVS et les art. 81 et 82 RAVS ont été abrogés. Le cas d'espèce reste toutefois régi par les dispositions en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 129 V 4 consid. 1.2 et les références).
2. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'AVS, notamment en ce qui concerne l'art. 52 LAVS. Désormais, la responsabilité de l'employeur est réglée de manière plus détaillée qu'auparavant à l'art. 52 LAVS et les art. 81 et 82 RAVS ont été abrogés. Le cas d'espèce reste toutefois régi par les dispositions en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 129 V 4 consid. 1.2 et les références).
3. Dans un premier moyen, le recourant allègue que le Tribunal cantonal des assurances sociales du canton de Genève est dépourvu de base constitutionnelle. A l'appui de ses conclusions, il se réfère au jugement (entré en force) du Tribunal administratif du canton de Genève du 30 mars 2004 en la cause D. (cf. Plädoyer 3/04 p. 49) dans lequel cette autorité judiciaire a constaté l'inconstitutionnalité du Tribunal cantonal des assurances sociales.
Par arrêt du 1er juillet 2004, le Tribunal fédéral a jugé que l'existence du Tribunal cantonal des assurances sociales du canton de Genève trouve son fondement directement dans le droit fédéral, soit l'art. 57 LPGA, à teneur duquel chaque canton institue un tribunal des assurances, qui statue en instance unique sur les recours dans le domaine des assurances sociales. Le Tribunal fédéral en a déduit qu'une base constitutionnelle cantonale expresse n'était pas nécessaire pour la création de cette juridiction de recours (ATF 130 I 230 consid. 2.4 à 2.6).
La Cour de céans fait siens les considérants du Tribunal fédéral et y renvoie. Le grief soulevé se révèle dès lors infondé.
La Cour de céans fait siens les considérants du Tribunal fédéral et y renvoie. Le grief soulevé se révèle dès lors infondé.
4. 4.1 Dans un second grief, le recourant fait valoir que la péremption de cinq ans prévu par l'art. 82 al. 1 RAVS était acquise lorsque la caisse a rendu sa décision en réparation, le 24 juillet 2000, soit 9 ans après la dernière des années sur lesquelles portent les cotisations impayées.
4.2 D'après l'art. 82 al. 1 RAVS, le délai de péremption de cinq ans débute au moment où survient le dommage. Selon une jurisprudence constante, le dommage est réputé survenu dès que l'on doit admettre que les cotisations normalement à la charge de l'employeur ne peuvent plus être perçues, pour des raisons juridiques ou de fait: la première éventualité vise les cotisations frappées de péremption selon l'art. 16 al. 1 LAVS; la seconde, les cotisations qui n'ont pas pu être encaissées selon la procédure instituée à cet effet en raison de l'insolvabilité de l'employeur (ATF 121 III 384 consid. 3 bb, 388 consid. 3a, 113 V 257 consid. 3c, 112 V 157 consid. 2).
Eu égard au principe de la subsidiarité de la responsabilité des organes de la personne morale, une caisse de compensation ne peut invoquer la réparation d'un dommage à l'encontre de ceux-ci que lorsque le débiteur des cotisations arriérées se trouve dans l'impossibilité, en raison de son insolvabilité, de verser les cotisations à sa charge. Dans le cas d'une poursuite par voie de saisie, cette insolvabilité ne peut être constatée qu'au moment de la remise d'un acte de défaut de biens: c'est à ce moment que prend naissance la créance en réparation du dommage et que, au plus tôt, la caisse subit un dommage et a connaissance de celui-ci au sens de l'art. 82 RAVS (ATF 113 V 258 consid. 3c).
4.3 En l'espèce, l'argumentation développée par le recourant est dénuée de toute pertinence. Il y a lieu en effet de constater que le délai de péremption de cinq ans - à l'instar du délai d'une année prévu également à l'art. 82 al. 1 RAVS - a commencé à courir au moment de la délivrance de l'acte de défaut de biens du 13 août 1999, plus précisément au moment de sa réception par la caisse le 27 août suivant. L'action en réparation du dommage, remise à la poste le 24 juillet 2000, a donc été intentée dans le délai approprié.
4.3 En l'espèce, l'argumentation développée par le recourant est dénuée de toute pertinence. Il y a lieu en effet de constater que le délai de péremption de cinq ans - à l'instar du délai d'une année prévu également à l'art. 82 al. 1 RAVS - a commencé à courir au moment de la délivrance de l'acte de défaut de biens du 13 août 1999, plus précisément au moment de sa réception par la caisse le 27 août suivant. L'action en réparation du dommage, remise à la poste le 24 juillet 2000, a donc été intentée dans le délai approprié.
5. 5.1 En dernier lieu, le recourant allègue qu'il ne s'est pas rendu coupable d'une faute ou d'une négligence grave au sens de l'art. 52 LAVS.
5.2 L'employeur qui ne respecte pas l'obligation de payer les cotisations et de fournir les décomptes selon l'art. 14 al. 1 LAVS, en corrélation avec les art. 34 ss RAVS, enfreint les prescriptions au sens de l'art. 52 LAVS et doit, par conséquent, réparer la totalité du dommage ainsi occasionné (ATF 118 V 195 consid. 2a et les références). La caisse de compensation qui constate qu'elle a subi un dommage par suite de la non-observation de prescriptions peut admettre que l'employeur a violé celles-ci intentionnellement ou du moins par négligence grave dans la mesure où il n'existe pas d'indices faisant croire à la légitimité de son comportement ou à l'absence d'une faute. En vertu de son obligation de collaborer à l'instruction de la cause, il appartient, en principe, à la personne tenue de réparer le dommage d'apporter les arguments et les preuves propres à justifier son comportement ou l'absence de toute faute (ATF 108 V 187 consid. 1 in fine).
5.3 En l'occurrence, les premiers juges ont établi, de manière à lier le Tribunal fédéral des assurances (consid. 1), qu'à la suite de l'entrée en force de chose jugée du jugement de la commission relatif à l'arriéré de cotisations, la société X._ ne s'est acquittée que très partiellement de la somme due. Si un plan de paiement a, certes, été accordé à la société X._, il n'a cependant pas été respecté et la caisse l'a annulé. La société X._ n'a ainsi pas pris les mesures adéquates en vue d'assurer le paiement des cotisations litigieuses. Dans ces circonstances, il y a lieu de retenir que le recourant, en sa qualité d'organe de la société X._, s'est rendu coupable d'une négligence grave, engageant sa responsabilité au sens de l'art. 52 LAVS, de sorte qu'il répond du dommage subi par la caisse.
Le recourant allègue que la société X._ n'avait plus à s'acquitter des cotisations litigieuses. Saisi de demandes tendant au remboursement par deux anciens collaborateurs des montants correspondant aux cotisations qui n'avaient pas été déduites des rémunérations versées, le Tribunal des Prud'hommes du canton de Genève aurait constaté que les parties n'étaient pas liées par un contrat de travail. S'il est vrai que dans l'un des cas cette autorité judiciaire a nié l'existence d'un contrat de travail (jugement du 29 avril 1998), force est de constater qu'il n'en est rien pour le second collaborateur, la demande ayant été rejetée en raison de la prescription de celle-ci (jugement du 6 mai 1998).
Cela étant, il n'en reste pas moins que le jugement de la commission est entré formellement en force de chose jugée et a acquis un caractère définitif et exécutoire (cf. art. 97 LAVS). Qu'un jugement d'une autorité judiciaire civile parvienne à un résultat apparemment contradictoire n'y saurait rien changer.
Au demeurant, il convient de préciser que la qualification juridique des rapports entre une société et ses collaborateurs par un juge civil ne saurait lier l'autorité administrative ou le juge chargé d'appliquer la LAVS, et inversement. En effet, selon la jurisprudence, le point de savoir si l'on a affaire, dans un cas donné, à une activité indépendante ou salariée au sens des art. 5 et 9 LAVS ne doit pas être tranché d'après la nature juridique du rapport contractuel entre les partenaires. Ce qui est déterminant, ce sont les circonstances économiques. Les rapports de droit civil peuvent certes fournir des indices pour la qualification en matière d'AVS, mais ils ne sont pas déterminants (ATF 123 V 162 consid. 1, 122 V 171 consid. 3a, 119 V 161 consid. 2 et les arrêts cités).
La caisse et les premiers juges ont donc admis avec raison que le recourant était tenu de réparer le dommage.
La caisse et les premiers juges ont donc admis avec raison que le recourant était tenu de réparer le dommage.
6. Vu la nature du litige, la procédure n'est pas gratuite de sorte que le recourant qui succombe (art. 156 al. 1 OJ), en supporte les frais.
Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 4'000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais d'un même montant qu'il a versée.
2. Les frais de justice, d'un montant de 4'000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais d'un même montant qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances sociales et à l'Office fédéral des assurances sociales.
Lucerne, le 13 décembre 2004
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: p. le Greffier: