Faits:
Faits:
A. S._ SA était affiliée en tant qu'employeur auprès de la Caisse cantonale genevoise de compensation (la caisse). Sa faillite a été prononcée le 2 février 1999.
Par décision du 13 mars 2000, la caisse a demandé à E._, ancien administrateur de S._ SA, de réparer le dommage de 128'881 fr. 30 qu'elle avait subi dans la faillite de cette société. La caisse a informé E._ qu'elle le rendait solidairement responsable du dommage avec M._, jusqu'à concurrence de 101'747 fr.
Par décision du 13 mars 2000, la caisse a demandé à E._, ancien administrateur de S._ SA, de réparer le dommage de 128'881 fr. 30 qu'elle avait subi dans la faillite de cette société. La caisse a informé E._ qu'elle le rendait solidairement responsable du dommage avec M._, jusqu'à concurrence de 101'747 fr.
B. E._ ayant formé opposition, la caisse a porté le cas devant la Commission cantonale genevoise de recours en matière d'AVS/AI (aujourd'hui : Tribunal cantonal des assurances sociales du canton de Genève), le 13 septembre 2000, en concluant à ce que le défendeur fût condamné à lui payer la somme de 128'881 fr. 30.
Par jugement du 24 mars 2004, la juridiction cantonale a admis entièrement les conclusions de la caisse.
Par jugement du 24 mars 2004, la juridiction cantonale a admis entièrement les conclusions de la caisse.
C. E._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant principalement à sa libération, subsidiairement au renvoi de la cause aux premiers juges.
L'intimée conclut au rejet du recours, dans la mesure où il est recevable. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
Considérant en droit:
1. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'AVS. Le cas d'espèce reste toutefois régi par les dispositions en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 129 V 4 consid. 1.2 et les références).
1. La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de nombreuses dispositions légales dans le domaine de l'AVS. Le cas d'espèce reste toutefois régi par les dispositions en vigueur jusqu'au 31 décembre 2002, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 129 V 4 consid. 1.2 et les références).
2. 2.1 Dans un premier moyen, le recourant invoque une violation des art. 5 al. 1 et 30 Cst., alléguant que le Tribunal cantonal des assurances sociales du canton de Genève, qui a rendu le jugement attaqué, est dépourvu de base constitutionnelle. A l'appui de ses conclusions, il se réfère à l'arrêt (entré en force) du Tribunal administratif du canton de Genève du 30 mars 2004 en la cause Olivier D. (cf. Plädoyer 3/04 p. 49), dans lequel cette autorité judiciaire a constaté l'inconstitutionnalité du Tribunal cantonal des assurances sociales.
2.2 Par arrêt du 1er juillet 2004, concernant également Olivier D., le Tribunal fédéral a jugé que l'existence du Tribunal cantonal des assurances sociales du canton de Genève trouve son fondement directement dans le droit fédéral, soit l'art. 57 LPGA, à teneur duquel chaque canton institue un tribunal des assurances, qui statue en instance unique sur les recours dans le domaine des assurances sociales. Le Tribunal fédéral en a déduit qu'une base constitutionnelle cantonale expresse n'était pas nécessaire pour la création de cette juridiction de recours (ATF 130 I 230-231 consid. 2.4 à 2.6).
La Cour de céans a fait siens les considérants du Tribunal fédéral (parmi de nombreux arrêts, D. du 24 septembre 2004, I 325/04) et y renvoie. On rappellera aussi que la compétence de l'autorité cantonale de recours, au sens de l'art. 85 al. 1 LAVS, pour connaître des actions en réparation du dommage, au sens de l'art. 52 LAVS, découle directement du droit fédéral (art. 81 al. 3 RAVS) et ne nécessite aucune disposition cantonale attributive de ce contentieux (ATF 129 V 199 consid. 4.2). En sa qualité de successeur de l'ancienne Commission cantonale de recours en matière d'AVS/AI, le Tribunal cantonal des assurances sociales était donc compétent pour statuer sur la demande du 13 septembre 2000. Le grief soulevé se révèle dès lors infondé.
La Cour de céans a fait siens les considérants du Tribunal fédéral (parmi de nombreux arrêts, D. du 24 septembre 2004, I 325/04) et y renvoie. On rappellera aussi que la compétence de l'autorité cantonale de recours, au sens de l'art. 85 al. 1 LAVS, pour connaître des actions en réparation du dommage, au sens de l'art. 52 LAVS, découle directement du droit fédéral (art. 81 al. 3 RAVS) et ne nécessite aucune disposition cantonale attributive de ce contentieux (ATF 129 V 199 consid. 4.2). En sa qualité de successeur de l'ancienne Commission cantonale de recours en matière d'AVS/AI, le Tribunal cantonal des assurances sociales était donc compétent pour statuer sur la demande du 13 septembre 2000. Le grief soulevé se révèle dès lors infondé.
3. Le litige porte sur la responsabilité du recourant dans le préjudice causé à l'intimée, au sens de l'art. 52 LAVS et de la jurisprudence y relative (ATF 123 V 15 consid. 5b et les références), par la perte de cotisations paritaires.
3. Le litige porte sur la responsabilité du recourant dans le préjudice causé à l'intimée, au sens de l'art. 52 LAVS et de la jurisprudence y relative (ATF 123 V 15 consid. 5b et les références), par la perte de cotisations paritaires.
4. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
4. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
5. 5.1 De manière à lier la Cour de céans (consid. 4 ci-dessus), les premiers juges ont constaté que la société faillie avait connu des retards dans le paiement des charges sociales depuis l'année 1996 et que le recouvrement des créances de cotisations avait fait systématiquement l'objet de poursuites frappées d'opposition. Par ailleurs, la part des cotisations prélevée sur les salaires des employés n'avait été acquittée qu'à la suite de menaces de dénonciation à l'autorité pénale.
Se fondant sur ces faits, les juges cantonaux ont considéré que le recourant ne pouvait raisonnablement pas compter sur d'hypothétiques commandes pour sauver la société, au moment où il avait pris la décision de retarder le paiement des cotisations. Il avait donc agi par négligence grave, au sens de l'art. 52 LAVS, et devait ainsi être tenu pour responsable du dommage causé.
5.2 Le recourant a expressément reconnu que le montant des créances en souffrance s'élevait pour 1996, 1997, 1998 et 1999 à 128'881 fr. 30 (cf. décompte de l'intimée du 10 février 2000 et réponse du recourant à la demande en réparation). Il soutient cependant qu'il avait les meilleures raisons de penser que les arriérés de charges sociales pourraient être régularisés. Il en veut pour preuve, notamment, que la société attendait des commandes importantes pour le début de l'année 1998 et qu'elle avait pu verser 77 % des cotisations dues pour les années 1996 à 1999. A son avis, cela démontre qu'il avait fait preuve de toute la diligence que l'on pouvait attendre de sa part, si bien que le grief de négligence grave serait infondé.
5.3 Le recourant ne peut pas s'exculper en alléguant qu'il a pu s'acquitter d'une partie de la dette de cotisations. En effet, si l'on suivait son raisonnement, il suffirait qu'une entreprise ayant accumulé des arriérés de cotisations importants durant une longue période rembourse une partie de sa dette pour que ses dirigeants ne puissent, pour ce seul motif, plus être inquiétés par l'administration de l'AVS. L'art. 52 LAVS deviendrait ainsi une lettre morte.
Le critère prépondérant pour qualifier le comportement du recourant, au sens de l'art. 52 LAVS, réside dans le fait que les retards dans le paiement des cotisations sociales se sont étendus de l'année 1996 jusqu'à l'ouverture de la faillite en 1999, qu'ils portaient sur des montants très importants (cf. décompte du 10 février 2000) et que le recourant a systématiquement retardé l'encaissement des créances en s'opposant aux poursuites intentées par la caisse. En pareilles circonstances, le recourant ne peut affirmer avoir eu des raisons sérieuses et objectives de penser que le retard dans le règlement des cotisations aux assurances sociales n'était que passager, au sens de la jurisprudence rappelée ci-dessus au consid. 3 (a contrario, voir aussi ATF 121 V 243). Le recourant n'était donc pas autorisé, aux conditions posées par la jurisprudence, à différer le paiement des cotisations qu'il avait retenues sur les salaires payés, sous peine de commettre une négligence grave sanctionnée par l'art. 52 LAVS (cf. consid. 3.3 de l'arrêt A. et consorts du 29 août 2002, H 277/01).
Le critère prépondérant pour qualifier le comportement du recourant, au sens de l'art. 52 LAVS, réside dans le fait que les retards dans le paiement des cotisations sociales se sont étendus de l'année 1996 jusqu'à l'ouverture de la faillite en 1999, qu'ils portaient sur des montants très importants (cf. décompte du 10 février 2000) et que le recourant a systématiquement retardé l'encaissement des créances en s'opposant aux poursuites intentées par la caisse. En pareilles circonstances, le recourant ne peut affirmer avoir eu des raisons sérieuses et objectives de penser que le retard dans le règlement des cotisations aux assurances sociales n'était que passager, au sens de la jurisprudence rappelée ci-dessus au consid. 3 (a contrario, voir aussi ATF 121 V 243). Le recourant n'était donc pas autorisé, aux conditions posées par la jurisprudence, à différer le paiement des cotisations qu'il avait retenues sur les salaires payés, sous peine de commettre une négligence grave sanctionnée par l'art. 52 LAVS (cf. consid. 3.3 de l'arrêt A. et consorts du 29 août 2002, H 277/01).
6. La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario).
Le recourant, qui succombe, supportera les frais de justice (art. 153a, 156 al. 1 OJ).
Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 5'000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un même montant, qu'il a effectuée.
2. Les frais de justice, d'un montant de 5'000 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais, d'un même montant, qu'il a effectuée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal des assurances sociales du canton de Genève, à l'Office fédéral des assurances sociales, ainsi qu'à M._.
Lucerne, le 10 novembre 2004
Au nom du Tribunal fédéral des assurances
Le Juge présidant la IIIe Chambre: Le Greffier: