Faits:
Faits:
A. La société X._ SA, dont le siège était à C._, était inscrite au Registre du commerce du canton de Vaud depuis le 11 octobre 1991. Elle avait pour but le courtage en assurances et en réassurances. Elle était affiliée à la Caisse AVS de la Fédération patronale vaudoise (ci-après: la caisse).
B._ était administrateur délégué de X._ SA. Le 19 avril 1993, A._ est entré dans le conseil d'administration de la société en qualité de président, avec la signature collective à deux. Le 8 septembre 1995, D._ est devenu également membre de son conseil d'administration, avec la signature collective à deux. Dès le 4 novembre 1996, A._ a disposé de la signature individuelle.
La société X._ SA a été dissoute par la faillite prononcée par le Président du Tribunal du district de Lausanne le 11 mai 2000. La caisse a produit dans la faillite une créance de 132'517 fr. 65, pour laquelle le premier dépôt de l'état de collocation du 10 avril 2001 et le deuxième dépôt du 22 mai 2001 ne prévoyaient aucun dividende.
Par décision du 30 mai 2001, la caisse a réclamé à A._ le paiement du montant de 40'272 fr. 70 au titre de la réparation du dommage subi dans la faillite de X._ SA, qui résultait du non-paiement de cotisations aux assurances sociales fédérales (avec les intérêts moratoires et les frais de sommation et de poursuite) pendant la période du 1er janvier 1998 au 13 octobre 1999, date de l'inscription de sa radiation du registre du commerce. Par une autre décision rendue le même jour, elle a exigé de D._ le versement de la même somme au titre de la réparation du dommage subi dans la faillite de X._ SA, qui résultait du non-paiement de cotisations aux assurances sociales fédérales (avec les intérêts moratoires, les frais de sommation et de poursuite) durant la période du 1er janvier 1998 au 22 juillet 1999, date de l'inscription de sa radiation du registre du commerce. Dans les deux décisions, la caisse indiquait que B._ avait fait l'objet d'une procédure séparée conformément à l'art. 87 LAVS.
Le 29 juin 2001, A._ et D._ ont chacun formé opposition contre la décision les concernant. Par lettre du 27 juillet 2001, la caisse a invité A._ à lui donner tous renseignements sur les rémunérations perçues de X._ SA entre avril 1998 et février 1999, sur sa participation à la séance du conseil d'administration de cette société du 24 août 1998 et sur sa démission en sa qualité de président. Le 24 août 2001, celui-ci a produit sa réponse.
Le 29 juin 2001, A._ et D._ ont chacun formé opposition contre la décision les concernant. Par lettre du 27 juillet 2001, la caisse a invité A._ à lui donner tous renseignements sur les rémunérations perçues de X._ SA entre avril 1998 et février 1999, sur sa participation à la séance du conseil d'administration de cette société du 24 août 1998 et sur sa démission en sa qualité de président. Le 24 août 2001, celui-ci a produit sa réponse.
B. Par acte du 30 août 2001, la caisse a ouvert contre A._ et D._ une action en réparation du dommage devant le Tribunal des assurances du canton de Vaud, en prenant des conclusions provisoires en ce sens que les décisions du 30 mai 2001 étaient confirmées. A titre préalable, elle requérait la suspension de la procédure, jusqu'à ce qu'elle ait obtenu les documents et informations dont elle avait besoin pour se prononcer sur l'opposition formée par A._ et par D._.
Le 31 octobre 2001, la caisse a avisé le Tribunal des assurances qu'elle avait pu compléter entre-temps l'instruction du dossier et que l'examen des procès-verbaux et des comptes la conduisait à admettre l'opposition de D._, dont la responsabilité n'était pas engagée en ce qui concerne le dommage subi dans la faillite de X._ SA. Dans une écriture du 20 février 2002, elle a conclu à la levée de l'opposition formée par A._ contre sa décision du 30 mai 2001, au motif que celui-ci s'était impliqué dans la gestion de X._ SA jusqu'au milieu de l'année 1999 au moins.
Sur requête du tribunal, la caisse, par lettre du 17 octobre 2005, l'a informé que le montant du dommage s'élevait à 23'220 fr. 70 en date du 5 mars 1999 et à 40'272 fr. 70 en date du 23 juin 1999.
Le 21 novembre 2005, A._ a déposé une requête, par laquelle il demandait l'appel en cause de B._ et de D._. Interpellée par le juge délégué à l'instruction de la cause, la caisse, par lettre du 25 novembre 2005, a répondu qu'elle n'avait présenté aucune demande en réparation du dommage à l'encontre de B._, en raison de son insolvabilité. Dans une communication du 28 novembre 2005, la juridiction cantonale a avisé A._ qu'elle joignait l'incident au fond.
Par jugement du 7 avril 2006, le Tribunal des assurances a prononcé que la demande déposée le 30 août 2001 par la caisse contre A._ était admise (ch. I du dispositif) et que celui-ci était débiteur de la caisse de la somme de 40'272 fr. 70, valeur échue (ch. II du dispositif).
Par jugement du 7 avril 2006, le Tribunal des assurances a prononcé que la demande déposée le 30 août 2001 par la caisse contre A._ était admise (ch. I du dispositif) et que celui-ci était débiteur de la caisse de la somme de 40'272 fr. 70, valeur échue (ch. II du dispositif).
C. Le 29 mai 2006, A._ a interjeté un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci en ce sens que la demande déposée par la caisse le 30 août 2001 à son encontre était rejetée, lui-même n'étant pas le débiteur de la caisse de la somme réclamée s'élevant à 40'272 fr. 70.
La Caisse AVS de la Fédération patronale vaudoise a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
Considérant en droit:
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
1. La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L'acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (art. 132 al. 1 LTF; ATF 132 V 393 consid. 1.2 p. 395).
2. Le litige porte sur la responsabilité du recourant dans le préjudice causé à l'intimée, au sens de l'art. 52 LAVS et de la jurisprudence y relative (ATF 132 III 523 consid. 4.5 p. 528 et les références), par la perte de cotisations paritaires à la suite de la faillite de X._ SA. Il n'a pas pour objet l'octroi ou le refus de prestations d'assurance, de sorte que le Tribunal de céans doit se borner à examiner si la juridiction cantonale a violé le droit fédéral, y compris par l'excès ou par l'abus de son pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. Le litige porte sur la responsabilité du recourant dans le préjudice causé à l'intimée, au sens de l'art. 52 LAVS et de la jurisprudence y relative (ATF 132 III 523 consid. 4.5 p. 528 et les références), par la perte de cotisations paritaires à la suite de la faillite de X._ SA. Il n'a pas pour objet l'octroi ou le refus de prestations d'assurance, de sorte que le Tribunal de céans doit se borner à examiner si la juridiction cantonale a violé le droit fédéral, y compris par l'excès ou par l'abus de son pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3. 3.1 La loi fédérale sur la partie générale du droit des assurances sociales du 6 octobre 2000 (LPGA) est entrée en vigueur le 1er janvier 2003, entraînant la modification de l'art. 52 LAVS, relatif à la responsabilité de l'employeur pour le dommage causé à une caisse de compensation en violant des prescriptions légales, et l'abrogation des art. 81 et 82 RAVS, relatifs à la procédure à suivre pour faire valoir le droit à la réparation du dommage ainsi qu'à la prescription de ce droit. La procédure particulière de la décision administrative, suivie, en cas d'opposition, d'une action de la caisse en réparation du dommage, fait désormais place à une procédure de décision, de décision sur opposition et de recours de droit administratif (art. 52 al. 2 LAVS, dans sa teneur en vigueur depuis le 1er janvier 2003, art. 52 et art. 56 LPGA).
3.2 Dans le cas particulier, la procédure prévue par l'ancien art. 81 RAVS était applicable devant la juridiction cantonale, dès lors que la LPGA n'était pas encore en vigueur au moment de l'ouverture par la caisse d'une action en réparation du dommage contre le recourant (ATF 130 V 1). Sur le plan matériel également, le cas d'espèce reste régi par l'ancien droit, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 132 III 523 consid. 4.3 p. 527, 131 V 9 consid. 1 p. 11, 129 V 1 consid. 1.2 p. 4 et les références).
3.2 Dans le cas particulier, la procédure prévue par l'ancien art. 81 RAVS était applicable devant la juridiction cantonale, dès lors que la LPGA n'était pas encore en vigueur au moment de l'ouverture par la caisse d'une action en réparation du dommage contre le recourant (ATF 130 V 1). Sur le plan matériel également, le cas d'espèce reste régi par l'ancien droit, eu égard au principe selon lequel les règles applicables sont celles en vigueur au moment où les faits juridiquement déterminants se sont produits (ATF 132 III 523 consid. 4.3 p. 527, 131 V 9 consid. 1 p. 11, 129 V 1 consid. 1.2 p. 4 et les références).
4. 4.1 Le recourant fait valoir que l'acte introductif d'instance du 30 août 2001 ne remplissait pas les conditions formelles minimales, la caisse l'ayant rédigé de manière sommaire, sans chiffrer ses conclusions. Il est de l'avis que cela justifie le rejet de l'action devant la juridiction cantonale.
4.2 Aux termes de l'art. 81 RAVS (en vigueur jusqu'au 31 décembre 2002), la caisse de compensation décide de la réparation d'un dommage causé par l'employeur; cette décision, notifiée par lettre recommandée, rend l'employeur expressément attentif à la possibilité de former opposition conformément au 2e alinéa (al. 1). L'employeur peut, dans les trente jours dès la notification de la décision en réparation du dommage, former opposition auprès de la caisse de compensation contre ladite décision (al. 2). Si la caisse de compensation maintient sa décision en réparation du dommage, elle doit, dans les trente jours à compter du moment où elle a eu connaissance de l'opposition, sous peine de déchéance de ses droits, porter le cas par écrit devant l'autorité de recours du canton dans lequel l'employeur a son domicile. Les cantons règlent la procédure par les dispositions qu'ils doivent édicter conformément à l'art. 85 LAVS (al. 3).
Selon l'art. 85 al. 2 let. b LAVS (en vigueur jusqu'au 31 décembre 2002), l'acte de recours doit contenir un exposé succinct des faits et des motifs invoqués, ainsi que les conclusions. Si l'acte de recours n'est pas conforme à ces règles, le juge impartit à son auteur un délai pour combler les lacunes, en l'avertissant qu'en cas d'inobservation le recours sera écarté.
4.3 Dans sa demande du 30 août 2001 par laquelle la caisse a saisi la juridiction cantonale, celle-ci renvoyait aux décisions en réparation du 30 mai 2001, en concluant à la confirmation de celles-ci. Au regard de l'écriture complémentaire du 20 février 2002, dans laquelle l'intimée a conclu à la levée de l'opposition formée par le recourant contre sa décision du 30 mai 2001, la demande était recevable.
En effet, les conditions de recevabilité posées par l'art. 85 al. 2 let. b première phrase LAVS étaient remplies (ATF 114 V 83 consid. 3 p. 86; RCC 1989 p. 269 consid. 3 p. 270 s. [H 166/87]). A cet égard, la demande était suffisamment motivée (voir aussi arrêt B. du 13 février 2002 [H 301/00]), dès lors que la décision en réparation du 30 mai 2001 portait condamnation au paiement du montant de 40'272 fr. 70, ce que les conclusions prises aussi bien dans l'acte du 30 août 2001 que dans l'écriture complémentaire du 20 février 2002 tendaient à confirmer.
4.4 Le recourant reproche aux premiers juges d'avoir rejeté ses conclusions par lesquelles il demandait que soit ordonné l'appel en cause de B._ et de D._.
4.5 D'après la jurisprudence constante relative aux art. 52 LAVS et 81 al. 1 RAVS, qui consacrent une responsabilité pour faute résultant du droit public (ATF 108 V 189 consid. 2b p. 193), il incombe uniquement à la caisse de compensation de décider si elle attaquera un employeur pour lui demander la réparation du dommage subi. S'il existe une pluralité de responsables, elle jouit d'un concours d'actions et le rapport interne entre les co-responsables ne la concerne pas; si elle ne peut prétendre qu'une seule fois la réparation, chacun des débiteurs répond solidairement envers elle de l'intégralité du dommage et il lui est loisible de rechercher tous les débiteurs, quelques-uns ou un seul d'entre eux, à son choix (ATF 119 V 86 consid. 5a p. 87).
Il appartient en principe au juge saisi d'une telle action d'inviter à participer à la procédure, à titre de co-intéressés, les personnes contre lesquelles la caisse a rendu une décision de réparation du dommage et contre lesquelles elle n'a pas renoncé à ouvrir action ensuite de leur opposition. A défaut, le Tribunal de céans, saisi ultérieurement d'un recours de droit administratif, lui retournera la cause pour qu'il procède conformément à ce qui précède, à moins que l'instance fédérale ne soit en mesure de corriger elle-même le vice de procédure, à titre exceptionnel (arrêt du 11 décembre 2006 [H 47/06, H 53/06, H 54/06, H 55/06 et H 56/06]; arrêt W. du 16 octobre 2006 [H 72/06], in SZS 2007 p. 152 et SVR 2007 AHV Nr. 2 p. 5; arrêt N. et T. du 5 février 2004 [H 68/03]).
4.6 Dans son mémoire du 30 août 2001, l'intimée a dirigé son action contre le recourant et D._. Par la suite, dans son écriture du 31 octobre 2001, elle a admis l'opposition formée par D._ contre sa décision du 30 mai 2001 en réparation du dommage. Elle renonçait ainsi à ouvrir action contre celui-ci, dont elle niait la responsabilité dans le préjudice subi par elle suite à la faillite de X._ SA. Dès lors, les conditions n'étaient pas réalisées pour que la juridiction cantonale invite D._ à participer à la procédure.
D'autre part, l'intimée n'a pas présenté de demande en réparation du dommage à l'encontre de B._. Les conditions n'étaient donc pas non plus réunies pour que celui-ci soit appelé en cause.
D'autre part, l'intimée n'a pas présenté de demande en réparation du dommage à l'encontre de B._. Les conditions n'étaient donc pas non plus réunies pour que celui-ci soit appelé en cause.
5. 5.1 Selon l'art. 52 LAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2002), l'employeur qui, intentionnellement ou par négligence grave, n'observe pas des prescriptions et cause ainsi un dommage à la caisse de compensation est tenu à réparation.
Il ressort de l'art. 14 al. 1 LAVS (dans sa version en vigueur jusqu'au 31 décembre 2002), en relation avec les art. 34 s. RAVS, que l'employeur doit déduire, lors de chaque paie, la cotisation du salarié et verser celle-ci à la caisse de compensation en même temps que sa propre cotisation; il doit également remettre périodiquement aux caisses les pièces comptables nécessaires au calcul des cotisations. L'obligation de l'employeur de percevoir les cotisations et de régler les comptes est une tâche de droit public prescrite par la loi (ATF 108 V 189 consid. 2a p. 193). L'employeur qui néglige de l'accomplir peut en conséquence être tenu de réparer le dommage ainsi occasionné sur la base de l'art. 52 LAVS (ATF 118 V 193 consid. 2a p. 195).
5.2 La jurisprudence considère que, si l'employeur est une personne morale, la responsabilité peut s'étendre, à titre subsidiaire, aux organes qui ont agi en son nom (ATF 123 V 12 consid. 5b p. 15, 122 V 65 consid. 4a, 114 V 219 consid. 3b, confirmés in ATF 129 V 11 consid. 3; critique: Wyss, Fallen unter den Begriff des Arbeitgebers nach Art. 52 AHVG zu Recht auch Organe einer juristischen Person?, RSAS 2004, p. 82). Dans le cas d'une société anonyme, la notion d'organe responsable selon l'art. 52 LAVS est en principe identique à celle qui ressort de l'art. 754 al. 1 CO. La responsabilité incombe donc non seulement aux membres du conseil d'administration, mais aussi aux organes de fait (cf. ATF 126 V 237 consid. 4 p. 239 s.), c'est-à-dire à toutes les personnes qui s'occupent de la gestion ou de la liquidation de la société, à savoir celles qui prennent en fait les décisions normalement réservées aux organes ou qui pourvoient à la gestion, concourant ainsi à la formation de la volonté sociale d'une manière déterminante (ATF 128 III 29 consid. 3a, 92 consid. 3a). Dans cette dernière éventualité, il faut cependant que la personne en question ait eu la possibilité de causer un dommage ou de l'empêcher, en d'autres termes qu'elle ait exercé effectivement une influence sur la marche des affaires de la société (ATF 132 III 523 consid. 4.5 p. 528 s. et les références).
Le moment de la fin effective du mandat est déterminant pour fixer la durée de la responsabilité de l'administrateur d'une société anonyme. Ce moment est déterminant, même lorsque la radiation de l'inscription au registre du commerce a été omise (ATF 126 V 61).
Le moment de la fin effective du mandat est déterminant pour fixer la durée de la responsabilité de l'administrateur d'une société anonyme. Ce moment est déterminant, même lorsque la radiation de l'inscription au registre du commerce a été omise (ATF 126 V 61).
6. Le litige porte sur la durée du mandat du recourant au sein de X._ SA et sur le montant du dommage dont la caisse lui demande réparation.
6.1 Les premiers juges ont retenu que le recourant avait démissionné de ses fonctions d'administrateur de la société X._ SA avec effet immédiat par lettre datée du 5 mars 1998. Toutefois, sa démission n'avait été transmise qu'avec un certain retard au registre du commerce, de sorte que ce n'est que le 13 octobre 1999 qu'elle avait paru dans la Feuille officielle suisse du commerce.
Contrairement à ce qu'indique le jugement attaqué, il n'est pas vraisemblable que la date du 5 mars 1998 procède d'une erreur de plume. Cette date est celle à laquelle le recourant a démissionné de sa fonction d'administrateur de X._ SA et reçu décharge de son mandat, ainsi que cela est attesté par la lettre du même jour portant la signature de B._. Il n'existe au dossier aucun document remettant en cause la date de la démission du 5 mars 1998.
6.2 Il convient dès lors d'examiner si, après sa démission du 5 mars 1998 de la fonction de président du conseil d'administration, le recourant a continué d'agir pour le compte de X._ SA.
6.2.1 Les premiers juges ont retenu que celui-ci avait assisté en qualité d'«invité» à l'assemblée générale extraordinaire du 25 mai 1999 et qu'il avait reçu une lettre du 15 juin 1999 de D._ concernant les affaires sociales. Celle-ci le désignait des termes de "Monsieur le Président", figurant tant au début du document que dans la formule de politesse. Or, dans sa réponse du 23 juin 1999, le recourant, au lieu d'indiquer que l'objet de la lettre ne le concernait pas, était entré en matière sans réserve, en faisant le nécessaire pour que l'affaire soit traitée. Ce mode de faire établissait le pouvoir et l'influence que celui-ci continuait, de fait, à exercer au sein de la société. Constatant qu'il avait exercé ses fonctions d'administrateur au sein de X._ SA jusqu'au 23 juin 1999 en tout cas, la juridiction cantonale a fixé au 23 juin 1999 le moment de la fin effective de son mandat.
6.2.2 Toutefois, ainsi que le relève avec raison le recourant, les éléments sur lesquels se sont fondés les premiers juges sont fort minces. Ils n'apportent pas la preuve que celui-ci, après sa démission du 5 mars 1998, ait exercé effectivement une influence sur la marche des affaires de X._ SA.
Il est constant que le recourant a assisté, en tant qu'invité, à l'Assemblée générale extraordinaire du 25 mai 1999. Toutefois, cela ne change rien au fait qu'il n'était plus administrateur de la société, ainsi que cela résulte de la rubrique "Divers" figurant sous ch. 2 du procès-verbal.
Selon le jugement attaqué, la lettre de D._ au recourant du 15 juin 1999 concernait les affaires sociales. En réalité, cette lettre était une requête dudit Castelli invitant le recourant à lui adresser une copie du nouvel extrait du registre du commerce attestant de sa démission (mémoire de recours du 29 mai 2006, p. 4). Elle faisait suite à une lettre du 18 mars 1999, par laquelle celui-ci avait signifié au recourant sa démission du conseil d'administration de X._ SA (écriture de la caisse du 27 juillet 2001).
Dans sa réponse du 23 juin 1999, le recourant a renseigné D._ sur l'état de la démarche auprès du registre du commerce (écriture de l'intimée du 27 juillet 2001), en l'avisant que le nécessaire avait été fait par B._ pour ce qui les concernait tous les deux (mémoire de recours du 29 mai 2006, p. 5).
L'intervention du recourant dans cet échange de correspondance ne constitue aucunement un acte ressortissant au nombre des décisions propres aux organes de la société ou dont l'accomplissement contribue à la formation de la volonté sociale de manière déterminante. Avant tout, il s'est agi d'informations sur la démarche effectuée par B._. Dans ce cadre, il n'y a donc pas eu de la part du recourant de décision où il aurait exercé une influence effective sur la marche des affaires de X._ SA. Que D._, dans ses lettres des 18 mars et 15 juin 1999, se soit adressé à lui avec la formule d'appel "Monsieur le Président", n'est pas significatif d'une participation aux activités courantes de la société à ce moment, mais la marque d'un usage épistolaire commercial, ainsi que le relève le recourant. Ce vocable à lui seul ne peut de toute façon conférer à cet échange de correspondance le caractère d'une affaire propre à un organe de la société entraînant une éventuelle responsabilité au titre de l'art. 52 LAVS. Ce serait faire preuve de formalisme excessif que de considérer qu'il y a eu acte d'administration du seul fait que le recourant, dans sa réponse du 23 juin 1999, est entré en matière sur la lettre de celui-ci du 15 juin 1999.
En retenant, sur la base des éléments mentionnés ci-dessus, que le recourant avait exercé ses fonctions d'administrateur au sein de X._ SA jusqu'au 23 juin 1999 en tout cas, le jugement attaqué repose ainsi sur une constatation manifestement inexacte des faits déterminants.
6.3 En revanche, le problème des rémunérations versées au recourant par X._ SA après sa démission du 5 mars 1998 n'a pas été instruit à satisfaction. En effet, il ressort du dossier que celui-ci a continué de percevoir des rémunérations, sans que l'on sache quelle a été véritablement son influence sur la marche des affaires de cette société.
Dans son écriture du 27 juillet 2001, l'intimée indiquait que l'examen du compte individuel du recourant laissait apparaître que ce dernier avait perçu les rémunérations suivantes:
janvier à juillet 1996 Fr. 3'000.--
janvier à décembre 1997 Fr. 6'000.--
janvier à décembre 1998 Fr. 6'000.--
janvier à février 1999 Fr. 1'000.--
La caisse invitait le recourant à lui faire savoir à quel titre il avait perçu ces rémunérations au travers de la société X._ SA, notamment entre avril 1998 et février 1999.
Dans sa réponse du 24 août 2001, le recourant a déclaré que les rémunérations ci-dessus ne concernaient nullement son activité comme administrateur. En effet, il avait oeuvré gratuitement au sein du conseil d'administration. De par ses connaissances et son entregent, il avait été en mesure d'amener de très nombreux clients à X._ SA. Les rémunérations correspondaient à des honoraires de mandataire, fixés selon un montant forfaitaire convenu avec le directeur de cette société. Les montants cités étaient donc sans relation quelconque avec son mandat d'administrateur.
Toutefois, les chiffres mentionnés ci-dessus par l'intimée ne sont pas les mêmes que ceux qui figurent sur le compte n° Y._ du recourant auprès de X._ SA, dont le solde débiteur était de 123'395 fr. 90 au 30 novembre 1999. Il aurait donc fallu élucider cette divergence. Il importe de savoir quelles ont été les rémunérations que le recourant, en conservant un compte auprès de cette société, a perçues de celle-ci après sa démission du 5 mars 1998 et à quel titre. A cet égard, la réponse du recourant du 24 août 2001 n'est pas déterminante. Ce qu'il importe d'élucider, c'est si ces rémunérations sont le fruit de l'exercice d'une manière effective d'une influence déterminante sur la marche des affaires de X._ SA.
6.4 En ce qui concerne le montant du dommage dont la réparation est demandée au recourant, les premiers juges étaient tenus de procéder aux constatations nécessaires. Ils ne pouvaient pas se limiter à constater que le montant de 40'272 fr. 70, même réclamé jusqu'au 23 juin 1999, était vraisemblablement inférieur à la réalité.
6.5 Lorsque, en vertu de l'art. 105 al. 2 OJ, le Tribunal de céans dispose d'un pouvoir d'examen des faits qui est limité à l'arbitraire, il ne lui appartient pas, en principe, de compléter l'état de fait d'un jugement cantonal. Dès lors il convient d'annuler le jugement attaqué et de renvoyer la cause aux premiers juges pour qu'ils rendent un nouveau jugement, après avoir mis en oeuvre de nouvelles mesures d'instruction.
6.5 Lorsque, en vertu de l'art. 105 al. 2 OJ, le Tribunal de céans dispose d'un pouvoir d'examen des faits qui est limité à l'arbitraire, il ne lui appartient pas, en principe, de compléter l'état de fait d'un jugement cantonal. Dès lors il convient d'annuler le jugement attaqué et de renvoyer la cause aux premiers juges pour qu'ils rendent un nouveau jugement, après avoir mis en oeuvre de nouvelles mesures d'instruction.
7. La procédure est onéreuse (art. 134 OJ a contrario). Sur le vu de l'issue du litige, l'intimée supportera les frais judiciaires (art. 156 al. 1 en corrélation avec l'art. 135 OJ). Le recourant a droit à une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en liaison avec l'art. 135 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud, du 7 avril 2006, est annulé; la cause étant renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
1. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud, du 7 avril 2006, est annulé; la cause étant renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
2. Les frais de justice, d'un montant de 3'500 fr., sont mis à la charge de la Caisse AVS de la Fédération patronale vaudoise.
2. Les frais de justice, d'un montant de 3'500 fr., sont mis à la charge de la Caisse AVS de la Fédération patronale vaudoise.
3. L'avance de frais versée par le recourant, d'un montant de 3'500 fr., lui est restituée.
3. L'avance de frais versée par le recourant, d'un montant de 3'500 fr., lui est restituée.
4. La Caisse AVS de la Fédération patronale vaudoise versera au recourant la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
4. La Caisse AVS de la Fédération patronale vaudoise versera au recourant la somme de 2'500 fr. (y compris la taxe sur la valeur ajoutée) à titre de dépens pour l'instance fédérale.
5. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 7 mai 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: p. le Greffier: