Faits : Faits : A. A._, né le 7 juin 1935, était employé au service de la Société C._ SA. L'entreprise avait affilié son personnel auprès de la Fondation collective LPP de la société B._SA. Le contrat de travail de A._ a été résilié pour le 30 juin 1996. La société B._ SA l'a informé que son avoir de libre passage s'élevait alors à 375'923 fr. A. A._, né le 7 juin 1935, était employé au service de la Société C._ SA. L'entreprise avait affilié son personnel auprès de la Fondation collective LPP de la société B._SA. Le contrat de travail de A._ a été résilié pour le 30 juin 1996. La société B._ SA l'a informé que son avoir de libre passage s'élevait alors à 375'923 fr. B. En décembre 1996, A._ a exposé aux agents de la société B._ SA qu'il souhaitait pouvoir disposer rapidement de ce capital afin de s'installer en qualité d'ingénieur indépendant; il désirait également opter pour un produit fiscalement avantageux. Il lui a alors été recommandé la conclusion d'un contrat de rente viagère dite « vaudoise ». Parmi les avantages de ce produit, les agents ont cité la possibilité de rachat de la police à n'importe quel moment avec l'accord de l'assureur en cas de force majeure, notion qui était laissée à l'appréciation de l'assureur. S'agissant des conséquence fiscales, il lui a été indiqué que le rachat de la rente pendant la période de six ans entraînerait le paiement d'un impôt d'environ 12,9 %. Le 31 décembre 1996, A._ a signé une proposition d'assurance de rente viagère « vaudoise » prévoyant le versement à l'assuré d'une rente mensuelle de 2'213 fr. 80, la première fois le 30 décembre 2000. La prime unique de 375'923 fr. devait être prélevée sur l'avoir de libre passage issu du contrat collectif de son ancien employeur. Selon les conditions complémentaires du contrat, le rachat par le preneur d'assurance n'était possible que si le contrat avait été conclu depuis au moins 6 ans. La société B._ SA a établi, le 7 avril 1997, une police d'assurance. Le 31 décembre 1996, A._ a signé une proposition d'assurance de rente viagère « vaudoise » prévoyant le versement à l'assuré d'une rente mensuelle de 2'213 fr. 80, la première fois le 30 décembre 2000. La prime unique de 375'923 fr. devait être prélevée sur l'avoir de libre passage issu du contrat collectif de son ancien employeur. Selon les conditions complémentaires du contrat, le rachat par le preneur d'assurance n'était possible que si le contrat avait été conclu depuis au moins 6 ans. La société B._ SA a établi, le 7 avril 1997, une police d'assurance. C. Par courrier du 4 juillet 1998, l'assuré a fait part à la société B._ SA de son souhait de racheter la rente viagère immédiatement, afin de s'installer à son compte. Au cours d'une correspondance avec l'Administration cantonale vaudoise des impôts, il a appris que ce rachat anticipé entraînerait le paiement d'impôts à double, le capital étant imposé une première fois au moment de la conclusion du contrat et une seconde fois lors du rachat; les agents de la société B._ SA ne l'avaient pas informé de ces conséquences fiscales. Le 12 août 1998, l'assurance a répondu qu'elle ne pouvait donner suite à sa demande de rachat, dès lors que le délai de six ans à compter de la conclusion du contrat n'était pas encore échu. Elle a réitéré ce refus le 13 octobre 1998. Par courrier du 15 avril 1999 adressé à la société B._ SA, A._ a invoqué la nullité du contrat signé le 31 décembre 1996 et a demandé le remboursement du montant de 385'321 fr. 10, avec intérêt à 5 % l'an dès le 1er janvier 1997. En substance, il soutenait que le contrat était illicite car il tendait au versement en espèces de sa prestation de libre passage sans que l'une des hypothèses prévues au principe du maintien de l'avoir de prévoyance à l'art. 5 al. 1 let. a à c de la loi fédérale du 17 décembre 1993 sur le libre passage dans la prévoyance professionnelle vieillesse, survivants et invalidité (ci-après : LFLP) ne soit réalisée. L'assurance lui a répondu le 28 avril 1999 qu'elle ne pouvait donner suite à sa demande car son cas avait été traité, conformément à l'art. 13 al. 3 du règlement de l'institution de prévoyance en faveur du personnel de C._ SA (ci-après : le règlement), comme une préretraite et non comme un libre passage. Le 22 octobre 2003, la société B._ SA a versé à A._ la valeur de rachat de l'assurance, qui s'élevait à 415'248 fr. 70. Le 22 octobre 2003, la société B._ SA a versé à A._ la valeur de rachat de l'assurance, qui s'élevait à 415'248 fr. 70. D. Le 23 juillet 1999, A._ a ouvert action contre la société B._ SA. En dernier lieu, il lui a réclamé le paiement de 385'321 fr. 10, avec intérêt à 5 % l'an dès le 1er janvier 1997 sous déduction de 415'248 fr. 70 (valeur octobre 2003) à titre de remboursement de sa prestation de sortie et de 450'000 fr. avec intérêt à 8 % dès le 8 octobre 1998 à titre de perte de gain. A titre de remboursement d'impôts, il a demandé le versement des montants de 51'558 fr. 75 (recte : 48'558 fr. 75) avec intérêt à 5 % l'an dès le 1er janvier 1997, de 2'302 fr. avec intérêt à 5 % dès le 31 décembre 1997, de 2'302 fr. dès le 31 décembre 1998, ainsi de 2'291 fr. avec intérêt à 5 % dès le 1er décembre 1999. La défenderesse s'est opposée à la demande. Par jugement du 14 juillet 2006, la Cour civile du Tribunal cantonal du canton de Vaud a rejeté la demande. Par jugement du 14 juillet 2006, la Cour civile du Tribunal cantonal du canton de Vaud a rejeté la demande. E. Contre ce jugement, A._ exerce un recours en réforme au Tribunal fédéral. Il conclut à la réforme du jugement entrepris en ce sens que la société B._ SA doit lui verser les montants de 385'321 fr. 10, avec intérêt à 5 % dès le 1er janvier 1997, sous déduction de 415'248 fr. 70 (valeur 22 octobre 2003) à titre de remboursement de sa prestation de sortie. Il conclut également au paiement à titre de dommages-intérêts de 450'000 fr. avec intérêt à 5 % dès le 8 octobre 1998, de 105'613 fr. 70, subsidiairement de 59'438 fr. 90, avec intérêt à 5 % dès le 1er janvier 1997 et de 9'620 fr. 80 avec intérêt à 5 % dès le 31 décembre 2000. Des déterminations n'ont pas été requises.