Faits : Faits : A. X._, ingénieur-physicien, né en 1931, est domicilié à B._. Le 23 septembre 1993, il a déposé sa déclaration d'impôt 1993-1994, mentionnant un revenu et une fortune imposables de 0.- fr., accompagnée des bilans et comptes de pertes et profits 1991 et 1992. Il n'a pas déposé de déclaration d'impôt 1995-1996. Pour la période 1997-1998, X._ a déclaré un revenu imposable de 43'858 fr. et une fortune nulle. Certaines annexes, telles que les bilans et comptes de pertes et profits 1995 et 1996, n'étaient pas jointes à la déclaration. Une décision de taxation définitive du 7 juin 1995 pour l'impôt cantonal et communal de la période fiscale 1993-1994 a fixé le revenu imposable à 24'900 fr. et la fortune imposable à 0.- fr. Après avoir sommé sans succès X._ de déposer la déclaration d'impôt 1995-1996, l'Office d'impôt de Lausanne-Ville (ci-après: l'Office d'impôt) a procédé, le 6 décembre 1995, à une taxation d'office fixant le revenu et la fortune imposables pour les impôt cantonal et communal à respectivement 60'000 fr. et 0.- fr. Pour la période fiscale 1997-1998, l'Office d'impôt a réclamé différentes pièces à l'intéressé sans les obtenir. Il a alors notifié à celui-ci une décision de taxation d'office du 13 octobre 1999 portant le revenu imposable à 65'200 fr. et la fortune à 0.- fr. Le 12 juin 1995, une décision de taxation pour l'impôt fédéral direct de la période fiscale 1993-1994 fixait le revenu imposable à 96'500 fr. Le 13 octobre 1999, l'Office d'impôt a notifié à X._ des décisions de taxation concernant une prestation en capital OPP3. Le montant imposable se montait à 53'600 fr. pour l'impôt cantonal et communal ainsi que pour l'impôt fédéral direct. Le 13 octobre 1999, l'Office d'impôt a notifié à X._ des décisions de taxation concernant une prestation en capital OPP3. Le montant imposable se montait à 53'600 fr. pour l'impôt cantonal et communal ainsi que pour l'impôt fédéral direct. B. Une proposition de règlement de l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale des impôts) du 16 décembre 1999 concernant toutes les périodes fiscales en cause et l'imposition de la prestation en capital n'ayant pas abouti, cette autorité, par décision du 20 juin 2001, a rejeté les réclamations de X._ à l'encontre des décisions de taxation relatives à l'impôt fédéral direct et à l'impôt cantonal et communal de la période fiscale 1993-1994, ainsi qu'à l'encontre de la décision de taxation de l'impôt cantonal et communal de la période fiscale 1995-1996. En ce qui concerne la période fiscale 1997-1998, elle a admis partiellement la réclamation et a fixé le revenu imposable pour l'impôt cantonal et communal à 62'900 fr. et la fortune imposable à 0.- fr. Dans une décision sur réclamation, également datée du 20 juin 2001, l'Administration cantonale des impôts a rejeté la réclamation de l'intéressé à l'encontre de la décision de taxation du 13 octobre 1999 relative à l'imposition cantonale et communale de la prestation en capital OPP3. Dans une décision sur réclamation, également datée du 20 juin 2001, l'Administration cantonale des impôts a rejeté la réclamation de l'intéressé à l'encontre de la décision de taxation du 13 octobre 1999 relative à l'imposition cantonale et communale de la prestation en capital OPP3. C. Par arrêt du 22 décembre 2006, le Tribunal administratif du canton de Vaud (ci après: le Tribunal administratif) a rejeté le recours de X._ à l'encontre des décisions sur réclamation du 20 juin 2001. Il a estimé en substance que l'intéressé n'avait apporté aucun élément étayant ses allégations concernant le dossier prétendument incomplet de l'Administration cantonale des impôts et que les décisions de taxation étaient suffisamment motivées. Il les a confirmées sur le fond. C. Par arrêt du 22 décembre 2006, le Tribunal administratif du canton de Vaud (ci après: le Tribunal administratif) a rejeté le recours de X._ à l'encontre des décisions sur réclamation du 20 juin 2001. Il a estimé en substance que l'intéressé n'avait apporté aucun élément étayant ses allégations concernant le dossier prétendument incomplet de l'Administration cantonale des impôts et que les décisions de taxation étaient suffisamment motivées. Il les a confirmées sur le fond. D. Sans en préciser la nature, X._ interjette un recours auprès du Tribunal fédéral et lui demande, sous suite de frais, d'annuler l'arrêt du 22 décembre 2006 du Tribunal administratif. Le Tribunal administratif renonce à déposer des observations et se réfère à l'arrêt entrepris. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours. Le Tribunal administratif renonce à déposer des observations et se réfère à l'arrêt entrepris. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet du recours. E. Par ordonnance du 13 mars 2007, le Président de la IIe Cour de droit public a rejeté la requête d'effet suspensif en tant qu'elle concernait les impôts cantonaux et communaux. Dans des courriers des 25 mars et 23 avril 2007, X._ a contesté ce rejet que le Tribunal fédéral a confirmé les 29 mars et 26 avril 2007.