Faits : Faits : A. Durant les années 1999 et 2000, A._, né le 15 janvier 1965 et domicilié à X._, a exercé une activité lucrative dépendante à plein temps pour un salaire de 97'277 fr. en 1999 et de 104'273 fr. en 2000. Dès le 1er janvier 2001, pour des raisons familiales, il a réduit son taux d'activité à 80%. Son salaire s'est élevé à 88'044 fr. pour 2001 et à 95'252 fr. pour 2002. Il s'est marié le 22 mars 2002. Son épouse a commencé à travailler dès le 1er janvier 2002. Le 10 janvier 2002, par décision de taxation définitive en matière d'impôt fédéral direct et d'impôts cantonal et communal pour la période du 1er janvier 2001 au 31 décembre 2002, l'Office d'impôt du district de Y._ (ci-après: l'Office d'impôt) a fixé son revenu imposable à 80'600 fr. Le 12 juin 2003, A._ a déposé une demande de taxation intermédiaire au 1er janvier 2001 en raison de la réduction de son temps de travail. Par décision du 21 octobre 2003, l'Office d'impôt a refusé de procéder à la taxation intermédiaire, le revenu du contribuable n'ayant pas diminué de plus de 25%. Par décision du 13 mai 2005, l'Administration cantonale des impôts a rejeté la réclamation déposée par A._ contre la décision du 21 octobre 2005. Par décision du 13 mai 2005, l'Administration cantonale des impôts a rejeté la réclamation déposée par A._ contre la décision du 21 octobre 2005. B. Par arrêt du 7 septembre 2006, le Tribunal administratif a rejeté le recours déposé par l'intéressé contre la décision sur réclamation rendue le 13 mai 2005 par l'Administration cantonale des impôts. Il a considéré en substance que les conditions d'une taxation intermédiaire - même adoucies par la pratique cantonale mise en place spécialement pour le passage de la taxation praenumerando bisannuelle à la taxation postnumerando annuelle - n'étaient pas réunies, l'intéressé n'ayant réduit son activité que de 20% pour une diminution de revenu de moins de 10%. B. Par arrêt du 7 septembre 2006, le Tribunal administratif a rejeté le recours déposé par l'intéressé contre la décision sur réclamation rendue le 13 mai 2005 par l'Administration cantonale des impôts. Il a considéré en substance que les conditions d'une taxation intermédiaire - même adoucies par la pratique cantonale mise en place spécialement pour le passage de la taxation praenumerando bisannuelle à la taxation postnumerando annuelle - n'étaient pas réunies, l'intéressé n'ayant réduit son activité que de 20% pour une diminution de revenu de moins de 10%. C. Agissant par la voie du recours de droit administratif, A._ demande au Tribunal fédéral, au moins implicitement, d'annuler l'arrêt rendu le 7 septembre 2006, d'accueillir la demande de taxation intermédiaire du 12 juin 2003, et subsidiairement, d'enjoindre l'Administration cantonale des impôts de lui verser une remise d'impôt forfaitaire, proportionnelle à l'impôt perçu en trop durant les années 2001 et 2002. Le Tribunal administratif et l'Administration cantonale des impôts du canton de Vaud ainsi que l'Administration fédérale des contributions concluent au rejet du recours dans la mesure où il est recevable.