Faits: Faits: A. La société X._ SA, dont le siège était à C._, était inscrite au Registre du commerce du canton de Vaud depuis le 11 octobre 1991. Elle avait pour but le courtage en assurances et en réassurances. Elle était affiliée à la Caisse AVS de la Fédération patronale vaudoise (ci-après: la caisse). B._ était administrateur délégué de X._ SA. Le 19 avril 1993, A._ est entré dans le conseil d'administration de la société en qualité de président, avec la signature collective à deux. Le 8 septembre 1995, D._ est devenu également membre de son conseil d'administration, avec la signature collective à deux. Dès le 4 novembre 1996, A._ a disposé de la signature individuelle. La société X._ SA a été dissoute par la faillite prononcée par le Président du Tribunal du district de Lausanne le 11 mai 2000. La caisse a produit dans la faillite une créance de 132'517 fr. 65, pour laquelle le premier dépôt de l'état de collocation du 10 avril 2001 et le deuxième dépôt du 22 mai 2001 ne prévoyaient aucun dividende. Par décision du 30 mai 2001, la caisse a réclamé à A._ le paiement du montant de 40'272 fr. 70 au titre de la réparation du dommage subi dans la faillite de X._ SA, qui résultait du non-paiement de cotisations aux assurances sociales fédérales (avec les intérêts moratoires et les frais de sommation et de poursuite) pendant la période du 1er janvier 1998 au 13 octobre 1999, date de l'inscription de sa radiation du registre du commerce. Par une autre décision rendue le même jour, elle a exigé de D._ le versement de la même somme au titre de la réparation du dommage subi dans la faillite de X._ SA, qui résultait du non-paiement de cotisations aux assurances sociales fédérales (avec les intérêts moratoires, les frais de sommation et de poursuite) durant la période du 1er janvier 1998 au 22 juillet 1999, date de l'inscription de sa radiation du registre du commerce. Dans les deux décisions, la caisse indiquait que B._ avait fait l'objet d'une procédure séparée conformément à l'art. 87 LAVS. Le 29 juin 2001, A._ et D._ ont chacun formé opposition contre la décision les concernant. Par lettre du 27 juillet 2001, la caisse a invité A._ à lui donner tous renseignements sur les rémunérations perçues de X._ SA entre avril 1998 et février 1999, sur sa participation à la séance du conseil d'administration de cette société du 24 août 1998 et sur sa démission en sa qualité de président. Le 24 août 2001, celui-ci a produit sa réponse. Le 29 juin 2001, A._ et D._ ont chacun formé opposition contre la décision les concernant. Par lettre du 27 juillet 2001, la caisse a invité A._ à lui donner tous renseignements sur les rémunérations perçues de X._ SA entre avril 1998 et février 1999, sur sa participation à la séance du conseil d'administration de cette société du 24 août 1998 et sur sa démission en sa qualité de président. Le 24 août 2001, celui-ci a produit sa réponse. B. Par acte du 30 août 2001, la caisse a ouvert contre A._ et D._ une action en réparation du dommage devant le Tribunal des assurances du canton de Vaud, en prenant des conclusions provisoires en ce sens que les décisions du 30 mai 2001 étaient confirmées. A titre préalable, elle requérait la suspension de la procédure, jusqu'à ce qu'elle ait obtenu les documents et informations dont elle avait besoin pour se prononcer sur l'opposition formée par A._ et par D._. Le 31 octobre 2001, la caisse a avisé le Tribunal des assurances qu'elle avait pu compléter entre-temps l'instruction du dossier et que l'examen des procès-verbaux et des comptes la conduisait à admettre l'opposition de D._, dont la responsabilité n'était pas engagée en ce qui concerne le dommage subi dans la faillite de X._ SA. Dans une écriture du 20 février 2002, elle a conclu à la levée de l'opposition formée par A._ contre sa décision du 30 mai 2001, au motif que celui-ci s'était impliqué dans la gestion de X._ SA jusqu'au milieu de l'année 1999 au moins. Sur requête du tribunal, la caisse, par lettre du 17 octobre 2005, l'a informé que le montant du dommage s'élevait à 23'220 fr. 70 en date du 5 mars 1999 et à 40'272 fr. 70 en date du 23 juin 1999. Le 21 novembre 2005, A._ a déposé une requête, par laquelle il demandait l'appel en cause de B._ et de D._. Interpellée par le juge délégué à l'instruction de la cause, la caisse, par lettre du 25 novembre 2005, a répondu qu'elle n'avait présenté aucune demande en réparation du dommage à l'encontre de B._, en raison de son insolvabilité. Dans une communication du 28 novembre 2005, la juridiction cantonale a avisé A._ qu'elle joignait l'incident au fond. Par jugement du 7 avril 2006, le Tribunal des assurances a prononcé que la demande déposée le 30 août 2001 par la caisse contre A._ était admise (ch. I du dispositif) et que celui-ci était débiteur de la caisse de la somme de 40'272 fr. 70, valeur échue (ch. II du dispositif). Par jugement du 7 avril 2006, le Tribunal des assurances a prononcé que la demande déposée le 30 août 2001 par la caisse contre A._ était admise (ch. I du dispositif) et que celui-ci était débiteur de la caisse de la somme de 40'272 fr. 70, valeur échue (ch. II du dispositif). C. Le 29 mai 2006, A._ a interjeté un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci en ce sens que la demande déposée par la caisse le 30 août 2001 à son encontre était rejetée, lui-même n'étant pas le débiteur de la caisse de la somme réclamée s'élevant à 40'272 fr. 70. La Caisse AVS de la Fédération patronale vaudoise a conclu au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.