Faits:
A. Le 27 juillet 1998, A.X._, né en 1944, dont l'épouse B.X._, née en 1938, voyait son départ à la retraite approcher, a conclu un contrat d'assurance-vie susceptible de rachat auprès de la Genevoise (police d'assurance n° ******). Cette police d'assurance prévoyait le versement d'un capital de 971'628 fr. au preneur vivant le 1er mars 2008 ou d'un capital du même montant en cas de décès entre le 1er mars 1998 et le 29 février 2008 en faveur du conjoint de l'assuré. Selon la police, la participation aux excédents était créditée sur un compte épargne. Le montant de la prime unique de 750'000 fr. était payable au 1er mars 1998.
Le 15 août 1998, La Genevoise a accordé à A.X._ un prêt sur assurance-vie d'un montant de 688'825 fr., au taux de 4,75% l'an, les intérêts étant payables par anticipation. Aux termes du contrat de prêt, la police n° ****** était remise en gage et devait être restituée après remboursement total, pour autant que le contrat d'assurance reste en vigueur. Le prêt s'éteignait sans dénonciation par compensation avec la somme disponible lors de l'échéance des prestations d'assurance ou lors de la transformation en une assurance libérée du paiement des primes ou lors du rachat de l'assurance. Dès le 11 avril 2006, le montant du prêt était fixé à 780'000 fr. au taux de 3%.
Le 1er mars 2008, la Zurich Assurances (qui s'était substituée à La Genevoise) a versé à A.X._ le capital échu de 971'628 fr. et le montant du compte de participation de 52'625 fr. 45, soit un montant de 1'024'253 fr. 45. Le 4 mars 2008, le prêt de 780'000 fr. a été intégralement remboursé.
Le 26 avril 1999, A.X._ et B.X._ (ci-après: les intéressés) ont déclaré pour la période fiscale 1999/2000 un revenu imposable de 29'700 fr. et une fortune imposable de 1'155'000 fr. Pour 1998, ils ont déduit 32'719 fr. 20 d'intérêts passifs relatifs au prêt du 15 août 1998. Le 19 août 1999, la Commission d'impôt de Z._ a refusé la déduction des intérêts passifs et arrêté le revenu imposable des intéressés pour l'impôt cantonal et communal à 61'600 fr. et la fortune à 989'000 fr.; pour l'impôt fédéral, le revenu imposable a été arrêté à 122'000 fr. Le 16 septembre 1999, les intéressés ont déposé une réclamation tendant à obtenir la déduction des intérêts passifs en cause. Le 2 mars 2000, la Commission d'impôt a jugé mal fondée la réclamation, maintenue par les intéressés. L'affaire a été transmise à l'Administration cantonale des impôts.
Pour les périodes fiscales 2001/2002 et 2003, l'autorité de taxation a une nouvelle fois refusé la déduction des intérêts passifs relatifs au prêt du 15 août 1998. Pour la période fiscale 2001/2002, le revenu imposable pour l'impôt cantonal et communal a été arrêté à 154'000 fr., la fortune imposable à 1'166'000 fr.; pour l'impôt fédéral direct, le revenu imposable a été arrêté à 137'000 fr. Pour la période fiscale 2003, le revenu imposable pour l'impôt cantonal et communal a été arrêté à 311'700 fr., la fortune imposable à 1'521'000 fr.; pour l'impôt fédéral direct, le revenu imposable a été arrêté à 311'300 fr. Les intéressés ont déposé des réclamations les 23 décembre 2004 et 25 octobre 2005.
Par décision du 18 juillet 2007, l'Administration cantonale des impôts a rejeté les réclamations des 19 août 1999, 23 décembre 2004 et 25 octobre 2005 et confirmé les revenus et fortune imposables en matière d'impôts fédéral, cantonal et communal. Selon elle, les intéressés disposaient de suffisamment de fonds propres pour financer la prime unique de l'assurance-vie et le paiement de primes périodiques auraient été plus avantageux que le paiement d'une prime unique.
Par mémoire du 14 août 2007, les intéressés ont interjeté recours auprès du Tribunal administratif du canton de Vaud contre la décision rendue le 18 juillet 2007 par l'Administration cantonale des impôts. Ils ont conclu à l'annulation des bordereaux d'impôts pour les périodes fiscales 1999/2000, 2001/2002 et 2003 et à la déduction des intérêts passifs liés au prêt du 15 août 1998.
B. Par arrêt du 16 mai 2008 limité à l'impôt cantonal et communal (sauf soustraction), la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (qui remplace le Tribunal administratif depuis le 1er janvier 2008) a admis le recours, l'emprunt contracté par les intéressés ne constituant pas une évasion fiscale.
C. Agissant par la voie du recours en matière de droit public, l'Administration cantonale des impôts demande au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt rendu le 16 mai 2008 par le Tribunal cantonal en matière d'impôts cantonal et communal, périodes fiscales 1999/2000, 2001/2002 et 2003 et de confirmer la décision de l'Administration cantonale des impôts du 18 juillet 2007 en matière d'impôt cantonal et communal 1999/2000, 2001/2002 et 2003. Elle se plaint de la violation de l'art. 9 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14).
Le Tribunal cantonal renonce à déposer des observations. A.X._ et B.X._ déclarent, sans l'aide de leur mandataire, renvoyer à l'arrêt attaqué, dont ils demandent la confirmation. L'Administration fédérale des contributions conclut à l'admission du recours.
Considérant en droit:
1. 1.1 Le présent recours est dirigé contre une décision rendue dans une cause de droit public (art. 82 lettre a de la loi du 17 juin 2005 sur le Tribunal fédéral [LTF; RS173.110]) par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 lettre d et al. 2 LTF), sans qu'aucune des exceptions prévues à l'art. 83 LTF ne soit réalisée, de sorte que la voie du recours en matière de droit public est en principe ouverte.
1.2 L'art. 73 al. 2 LHID, qui prévoit que l'administration fiscale cantonale a le droit de recourir, constitue une base légale conférant la qualité pour recourir conformément à l'art. 89 al. 2 let. d LTF (ATF 134 II 186 consid. 1.4 p. 189), pour autant que le recours concerne une période postérieure au délai de 8 ans accordé aux cantons à compter de l'entrée en vigueur de la loi fédérale d'harmonisation le 1er janvier 1993, pour adapter leur législation aux dispositions des titres deuxième à sixième de cette loi (ATF 123 II 588 consid. 2 p. 591 ss). Par conséquent, en tant qu'il concerne l'impôt cantonal et communal de la période fiscale 1999/2000, le recours en matière de droit public est irrecevable faute de qualité pour recourir de l'Administration cantonale des impôts. Cette dernière ne prétend pas non plus, à juste titre, être touchée comme une personne privée au sens de l'art. 89 al. 1 LTF (cf. ATF 134 II 124 consid. 2.1 p. 128).
1.3 En vertu de l'art. 107 al. 2 LTF, qui l'emporte sur l'art. 73 al. 3 LHID, le Tribunal fédéral peut, en cas d'admission du recours dans une cause visée par l'art. 73 al. 1 LHID, statuer lui-même sur le fond s'il l'estime opportun (ATF 134 II 186 p. 1.5 p. 190 ss; cf. en outre sur la question l'ATF 133 II 409 consid. 1.4 p. 414 ss). Les conclusions de la recourante, qui demande autre chose que l'annulation de l'arrêt attaqué, sont donc recevables.
2. Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (cf. art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter les faits constatés de façon manifestement inexacte (soit arbitraire; ATF 133 III 393 consid. 7.1 p. 398) ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). Le recourant peut soulever de tels vices relatifs à la constatation des faits si leur correction est susceptible d'influer sur le sort de la cause (cf. art. 97 al. 2 LTF); toutefois, dans la mesure où il se plaint d'arbitraire dans la constatation des faits ou d'application inconstitutionnelle de règles de procédure cantonale, il est tenu de se conformer aux exigences de motivation prévues à l'art. 106 al. 2 LTF, soit d'exposer d'une manière circonstanciée ses griefs (cf. ATF 133 II 249 consid. 1.4.3 p. 254 ss).
Pour le reste, le Tribunal fédéral applique d'office le droit fédéral (art. 106 al. 1 LTF). Il n'est limité ni par les arguments des parties ni par la motivation retenue par l'autorité précédente; il peut ainsi admettre un recours pour un autre motif que ceux invoqués devant lui ou rejeter un recours en adoptant une argumentation différente de l'autorité attaquée (cf. ATF 133 II 249 consid. 1.4.1 p. 254; 133 III 545 consid. 2.2 p. 550 et les références citées).
3. 3.1 Conformément à l'art. 7 al. 1ter et 4 LHID, l'art. 28 al. 1 lettre b de la loi du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11, en vigueur depuis le 1er janvier 2001) prévoit que les versements provenant d'assurances de capitaux privées susceptibles de rachat, à l'exception des polices de libre passage et des contrats de prévoyance liée conclus avec les établissements d'assurances sont exonérés, sous réserve de l'art. 23 al. 1 lettre a LI/VD, qui prévoit que les rendements versés, en cas de vie ou de rachat, d'assurances de capitaux susceptibles de rachat et acquittées au moyen d'une prime unique sont imposables, sauf si ces assurances servent à la prévoyance. L'art. 23 al. 1 lettre a in fine LI/VD précise que la prestation d'assurance est réputée servir à la prévoyance et est alors exonérée, lorsqu'elle est versée à un assuré de soixante ans révolus en vertu d'un contrat qui a duré au moins cinq ans et qui a été conclu avant le soixante-sixième anniversaire de ce dernier. Conformément à l'art. 78a LHID, l'art. 267 LI/VD dispose toutefois que les prestations provenant d'assurance de capitaux susceptibles de rachat acquittées au moyen d'une prime unique au sens de l'article 23, alinéa 1, lettre a et conclues avant le 1er janvier 1999 sont exonérées de l'impôt. L'assurance-vie en cause ayant été contractée le 27 juillet 1998, les restrictions à l'exonération des rendements provenant d'assurances-vie susceptibles de rachat et acquittées au moyen d'une prime unique introduites par la loi fédérale du 19 mars 1999 sur le programme de stabilisation 1998 (RO 1999 2374) ne sont pas applicables en l'espèce.
3.2 Conformément à l'art. 9 al. 2 lettre a et g LHID, l'art. 37 al. 1 lettre a LI/VD prévoit que les intérêts passifs privés à concurrence du rendement imposable de la fortune au sens des articles 23 et 24 LI/VD, augmenté d'un montant de 50'000 francs sont déductibles, tandis que son al. 1 lettre g limite la déduction des versements, cotisations et primes d'assurances-vie, d'assurances-maladie et d'assurances-accidents.
4. Le financement de la prime unique d'une assurance-vie mixte permet de réaliser une économie d'impôt du moment que la prime d'assurance, normalement non déductible, est indirectement déduite par le biais des intérêts passifs (arrêt 2A.470/2002 in: RDAF 2004 p. 65, consid. 5.3). Il s'ensuit que le financement de la prime unique d'une assurance-vie au moyen d'un prêt peut poser la question de l'évasion fiscale (Archives 55, p. 129 consid. 1).
4.1 Selon la jurisprudence, il y a évasion fiscale: a) lorsque la forme juridique choisie par le contribuable apparaît comme insolite, inappropriée ou étrange, en tout cas inadaptée au but économique poursuivi, b) lorsqu'il y a lieu d'admettre que ce choix a été arbitrairement exercé uniquement dans le but d'économiser des impôts qui seraient dus si les rapports de droit étaient aménagés de façon appropriée, c) lorsque le procédé choisi conduirait effectivement à une notable économie d'impôt dans la mesure où il serait accepté par l'autorité fiscale. Si ces trois conditions sont remplies, l'imposition doit être fondée non pas sur la forme choisie par le contribuable, mais sur la situation qui aurait dû être l'expression appropriée au but économique poursuivi par les intéressés (ATF 131 II 627 consid. 5.2 p. 635 s.; Archives 72, 413).
4.2 La conclusion d'une assurance de capitaux avec prime unique, payée au moyen de fonds étrangers constitue une évasion fiscale dans la mesure où le prêt ne se justifie pas par un avantage économique au regard de la composition et de la structure de la fortune du contribuable (D. Yersin, Commentaire IFD, Yersin/Noël Ed., Bâle 2008, n° 58 ad Rem. Prél. et les références citées). En d'autres termes, lorsque le financement de la prime unique par un emprunt et non par des fonds propres répond à des motifs objectifs et clairs, la forme dont le contribuable a revêtu l'opération n'apparaît pas anormale et par conséquent il n'y a pas d'évasion fiscale (ATF 107 Ib 315 consid. 4 p. 322; Archives 55, p. 129 consid. 1; arrêt 2A.470/2002 du 22 octobre 2003, consid. 4.2 in: Revue fiscale 59/2004 p. 127 et RDAF 2004 II 65). La jurisprudence développée sous l'empire de l'ancien droit garde sa valeur sous l'empire de la loi fédérale sur l'impôt fédéral direct et de la loi sur l'harmonisation fiscale, malgré les modifications introduites par la loi fédérale sur le programme de stabilisation 1998 (arrêt 2A.470/2002 du 22 octobre 2003, consid. 3.1 et 3.2 in: Revue fiscale 59/2004 p. 127 et RDAF 2004 II 65).
4.3 Selon la jurisprudence, pour examiner si l'emprunt répond à des motifs objectifs et clairs, il y a lieu de prendre en considération plusieurs éléments, tels que le rapport entre la fortune nette du preneur et le montant de la prime unique, le degré d'immobilisation et la structure de la fortune ainsi que la justification économique de l'opération.
S'agissant du rapport entre la fortune nette et la prime unique, l'opération est insolite et a pour seul but d'économiser des impôts, lorsque le preneur d'assurance dispose d'une fortune nette inférieure à la prime unique et que cette dernière ne peut être payée que par un emprunt garanti par le nantissement de la police d'assurance-vie auprès de l'assureur lui-même ou d'un tiers. Lorsque le preneur ou son conjoint dispose d'une fortune nette sensiblement supérieure à la prime unique, le recours à l'emprunt constitue une évasion fiscale s'il ne trouve pas une justification objective et raisonnable (Archives 55 p. 129; arrêt 2A.754/2005 du 20 juin 2006, consid. 3.2; Gladys Laffely Maillard, Les assurances sur la vie, notamment les assurances de capitaux à prime unique, et leur traitement fiscal, in: Archives 66 p. 593 ss, 628 s.; du même auteur, Commentaire IFD, op. cit., n° 22 ad art. 20 LIFD; W. Maute/M. Steiner/A. Rufener, Steuern und Versicherungen, 2e éd., Cosmos 1999, p. 287).
Dans cette seconde hypothèse, le degré d'immobilisation et la structure de la fortune justifient le recours à l'emprunt, lorsqu'il n'est pas raisonnable de réaliser la fortune immobilisée pour payer la prime unique. Un élément de fortune est considéré comme immobilisé lorsqu'il est utilisé par le contribuable à titre privé ou à des fins commerciales, lorsqu'il ne peut pas être réalisé dans un délai utile pour un prix raisonnable, en particulier pour des titres, lorsque les cours de la bourse sont temporairement défavorables (ATF 107 Ib 315 consid. 4a p. 323), ou encore lorsque cet élément de fortune produit un rendement particulièrement élevé, largement supérieur aux intérêts passifs de l'emprunt (arrêt 2A.470/2002 du 22 octobre 2003, consid. 4.2 in: Revue fiscale 59/2004 p. 127 et RDAF 2004 II 65).
Enfin, la conclusion du contrat d'assurance-vie à prime unique financée au moyen de fonds étrangers doit avoir une justification économique, faute de quoi elle aura pour unique justification l'économie d'impôt. Tel sera le cas si l'assurance-vie contractée garantit une prestation en cas de réalisation de l'événement assuré et une valeur de rachat avant échéance suffisamment élevée pour couvrir le remboursement du prêt et offrir une protection financière (ATF 107 Ib 315 consid. 4a p. 323). Cela revient à comparer la situation du preneur d'assurance qui finance sa prime unique par un emprunt à celle dans laquelle il l'aurait financée avec ses fonds propres (Archives 44, p. 360, consid. 2b et 2c).
4.4 Il appartient à l'autorité fiscale d'établir que les conditions objectives et subjectives d'une évasion fiscale sont réunies. Le dessein d'évasion fiscale est considéré comme établi lorsque le choix de la forme juridique, insolite, inappropriée ou étrange, en tout cas inadaptée au but économique poursuivi ne s'explique par aucun autre motif que celui d'économiser des impôts (Archives 64, p. 493 consid. 3c et les références citées).
5. 5.1 En l'espèce, au moment de la conclusion de l'assurance-vie en cause, la fortune nette des intéressés s'élevait à 1'155'000 fr. selon les constatations du Tribunal cantonal. Cette fortune était par conséquent sensiblement supérieure à la valeur de la prime unique qui s'élevait à 750'000 fr. Dans cette hypothèse, le recours à l'emprunt pour payer la prime unique ne se justifie que s'il n'est pas raisonnable d'exiger du preneur d'assurance qu'il paye la prime unique au moyen de ses fonds propres en raison de la structure et du degré d'immobilisation de sa fortune et si le contrat d'assurance est justifié économiquement, ce que le Tribunal cantonal a dûment examiné dans l'arrêt attaqué.
5.2 Le Tribunal cantonal a constaté que la fortune des intimés se composait de quatre immeubles, l'un servant de logement principal, ceux du Tessin et de France étant mis en location et celui d'Espagne servant de maison de vacances ainsi que d'un portefeuille d'actions et de comptes bancaires. Il a retenu que l'immeuble servant de résidence principale était un élément de fortune immobilisé, que la fortune immobilière très faiblement hypothéquée servait d'appoint aux intimés en vue de leur retraite et que la réalisation immédiate des biens immobiliers les aurait privés de toute réserve en cas d'imprévu. Ce faisant, le Tribunal cantonal a retenu au moins implicitement que la structure de la fortune des intimés au moment de contracter l'assurance-vie ne permettait pas le paiement de la prime unique au moyen de fonds propres, de sorte que le recours à l'emprunt se justifiait sous cet angle. Dans la mesure où il incombe à l'autorité fiscale d'établir l'existence d'une évasion fiscale, elle devait réunir des informations, quant à la faculté d'aliéner des biens sans perte de valeur, en tenant compte notamment du marché et des impôts liés à l'aliénation, et devait démontrer que les constatations du Tribunal cantonal sur ce point étaient arbitraires. Elle n'a toutefois formulé aucun grief qui mette en cause la constatation des faits par le Tribunal cantonal, quand bien même elle a relevé dans son recours que la motivation de l'arrêt reposait aussi sur l'examen de la composition de la fortune des intimés. Comme les constatations de fait du Tribunal cantonal lient le Tribunal fédéral (art. 105 LTF), il convient de constater qu'au vu de la structure de leur fortune, les intimés pouvaient recourir à l'emprunt pour financer la prime unique sans que cela paraisse insolite.
5.3 Selon les constatations du Tribunal cantonal, que la recourante ne conteste pas, l'opération a coûté aux intimés 1'077'923 fr. (soit 750'000 fr. de prime unique, composés d'un prêt à rembourser de 688'825 fr. ainsi que d'un solde de fonds propres plus 327'923 fr. d'intérêts passifs). A l'échéance du contrat, elle leur a rapporté 1'024'253 fr. 45 (soit 971'628 fr. de prestation en capital plus 52'625 fr. 45 de participation aux excédents) auxquels s'ajoute le revenu des fonds propres non utilisés pour un montant de 140'000 fr. (calculé sur un rendement de 2 à 3% l'an). Le Tribunal cantonal a ainsi retenu que l'opération s'est soldée par un bénéfice approximatif de 86'330 fr. 45, augmenté de l'économie nette d'impôt réalisée de 47'000 fr. (90'000 fr. grâce à la déduction des intérêts passifs auxquels il faut soustraire l'imposition sur les titres de 43'000 fr.), soit un rendement final net de 133'000 fr.
La recourante reproche au Tribunal cantonal de n'avoir procédé qu'à une analyse incomplète de la justification économique du contrat d'assurance. A son avis, il aurait dû comparer le "rendement final net" qu'auraient obtenu les intimés en payant la prime unique au moyen de fonds propres avec le rendement de 133'000 fr. qu'ils ont obtenu au moyen de l'emprunt. Cela se justifiait d'autant plus selon elle que le rendement des fonds propres non utilisés ne s'élevait qu'à 2 ou 3% selon les constatations du Tribunal cantonal lui-même alors que le taux d'intérêt de l'emprunt s'élevait à 4,75% puis à 3%.
Il est vrai que le Tribunal cantonal s'est borné à constater que l'opération procurait un rendement de 133'000 fr., sans examiner si le paiement de la totalité de la prime unique au moyen de fonds propres aurait été une solution économiquement plus avantageuse. La recourante affirme en outre à juste titre que le calcul du bénéfice de l'opération ne saurait prendre en compte l'économie d'impôt de 47'000 fr. dès lors que plus le montant des intérêts débiteurs est élevé plus l'expression chiffrée des bénéfices sous l'angle de l'économie d'impôt sera élevé. Cela ne conduit toutefois pas à l'admission du recours. En effet, à l'échéance du contrat, le bénéfice de l'opération s'est tout de même élevé, hors économie d'impôt, à 86'330 fr. cependant qu'en cas de décès du preneur lors des premières années d'assurance, il eût été encore plus avantageux au vu de la somme assurée. Enfin, comme le Tribunal cantonal a constaté, sans que la recourante ne fasse la démonstration à cet égard d'inexactitudes manifestes au sens de l'art. 105 al. 2 LTF, que la fortune immobilière des intimées était immobilisée au point que le paiement de la prime unique au moyen de fonds propres n'était pas possible (cf. consid. 5.2 ci-dessus), il était par conséquent inutile d'examiner si un tel paiement, en l'espèce impossible, eût été plus avantageux que le recours à l'emprunt.
Par conséquent, en jugeant que l'emprunt effectué par les intimés dans le but de financer la prime unique de l'assurance-vie susceptible de rachat ne constituait pas une évasion fiscale, le Tribunal cantonal a correctement appliqué le droit fédéral.
6. Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. L'arrêt rendu le 16 mai 2008 par le Tribunal cantonal est confirmé.
Succombant, l'Administration cantonale des impôts, qui défend un intérêt pécuniaire, doit supporter les frais judiciaires (art. 66 al. 1 et 4 a contrario LTF). Bien qu'ayant obtenu gain de cause, A.X._ et B.X._, qui n'ont pas fait appel à un mandataire professionnel, n'ont pas droit à une indemnité à titre de dépens (art. 68 LTF; ATF 133 III 439 consid. 4 p. 446).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge de l'Administration cantonale des impôts.
3. Le présent arrêt est communiqué aux parties, à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 16 octobre 2008
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Merkli Dubey