Faits : A. X._ a cessé son activité de notaire en 2000. Le 8 février 2001, il a fait l'objet d'une taxation intermédiaire dès cette date jusqu'à fin 2000; son bénéfice en capital imposable a été fixé à 50'000 fr. pour l'impôt fédéral direct et pour les impôts cantonaux et communaux, somme représentant le solde des débiteurs à encaisser. L'intéressé a contesté la taxation précitée. Il a fait valoir qu'il avait subi, en 1999, une perte reportée des exercices précédents d'un montant de 58'144 fr. 85 et que l'ensemble de ses créances à encaisser devait servir à éteindre sa perte. Par taxation du 12 juin 2001, le fisc a tenu compte des pertes réalisées et ramené à 0 fr. le bénéfice en capital imposable. L'intéressé a retiré sa réclamation. A. X._ a cessé son activité de notaire en 2000. Le 8 février 2001, il a fait l'objet d'une taxation intermédiaire dès cette date jusqu'à fin 2000; son bénéfice en capital imposable a été fixé à 50'000 fr. pour l'impôt fédéral direct et pour les impôts cantonaux et communaux, somme représentant le solde des débiteurs à encaisser. L'intéressé a contesté la taxation précitée. Il a fait valoir qu'il avait subi, en 1999, une perte reportée des exercices précédents d'un montant de 58'144 fr. 85 et que l'ensemble de ses créances à encaisser devait servir à éteindre sa perte. Par taxation du 12 juin 2001, le fisc a tenu compte des pertes réalisées et ramené à 0 fr. le bénéfice en capital imposable. L'intéressé a retiré sa réclamation. B. Dans sa déclaration d'impôt 2001/2002, l'intéressé a déclaré une "perte professionnelle" de 26'572 fr. pour les années 1999 et 2000. Le 19 septembre 2001, l'Office d'impôt du district de Z._ (ci-après: l'Office d'impôt) a notifié à l'intéressé une décision définitive de taxation et de répartition internationale des éléments imposables dans le canton de Vaud pour la période 2001/2002. Le revenu global du contribuable a été arrêté à 48'100 fr. et sa fortune à 804'000 fr. L'Office de l'impôt a notamment indiqué que la déduction de la perte professionnelle n'était pas admise, du fait de l'arrêt d'activité au 29 février 2000. Les 13 février 2002 et 17 février 2003, les décisions de taxation définitive pour l'impôt fédéral direct 2001 et 2002 ont été adressées à l'intéressé, fixant le revenu imposable à 51'800 fr. pour chaque année. Aucune des décisions de taxation précitées n'a été contestée. Le 25 septembre 2002, l'Office d'impôt a notifié à X._ le calcul de l'impôt cantonal et communal 2002, en se basant sur les chiffres retenus dans la taxation du 19 septembre 2001. Par une annotation intitulée "rectifications" apposée directement sur la décision précitée, le contribuable a demandé le 14 octobre 2002 à l'Office d'impôt une taxation intermédiaire. Le 22 octobre 2002, il a sollicité un délai pour déposer une taxation intermédiaire et a indiqué contester la taxation du 25 septembre 2002. Le 26 mars 2003, puis le 7 avril 2003, il a indiqué qu'il ne comprenait pas "la taxation de (son) revenu imposable en 2001-2002 à 48'000 fr." et qu'il souhaitait avoir des explications sur les calculs effectués par le fisc. Le 17 avril 2003, l'Office d'impôt lui a remis le détail de la calculation de son revenu imposable pour la taxation litigieuse. Le 27 mai 2003, l'intéressé a informé l'Office d'impôt qu'il avait remarqué des erreurs importantes dans la taxation 2001/2002 et qu'il n'avait pu "les apercevoir plus tôt à défaut de renseignements exacts au sujet de (ses) éléments imposables d'alors". Il a indiqué que si l'Office d'impôt n'acceptait pas de revoir ladite taxation, il adresserait directement une demande de révision au Département cantonal vaudois des finances. L'intéressé a eu un entretien avec l'Office d'impôt le 6 juin 2003. Le 1er juillet 2003, il a déposé une nouvelle déclaration d'impôt 2001/2002, précisant que les pertes de ses derniers exercices devaient être déduites de son revenu et que son immeuble en France ne devait pas être pris en considération dans la répartition internationale. Dans un courrier du 6 février 2004, X._ a exposé sa situation à l'Administration cantonale des impôts du canton de Vaud (ci-après: l'Administration cantonale) et lui a demandé d'arbitrer le différend qui l'opposait à l'Office d'impôt, se référant à une procédure de mainlevée d'opposition. Par décision du 15 mars 2004, l'Administration cantonale a déclaré irrecevable la réclamation de l'intéressé du 14 octobre 2002 contre les décisions de taxation relatives à la période fiscale 2001/2002, soit celle du 19 septembre 2001 concernant l'impôt cantonal et communal sur le revenu et la fortune et celle du 13 février 2002 concernant l'impôt fédéral direct. Il a considéré en substance que la réclamation, formée quelques mois après les décisions de taxation litigieuses, était tardive. La notification du bordereau du 25 septembre 2002 n'était pas une décision de taxation et seuls les griefs portant sur des questions relatives à la perception de l'impôt cantonal et communal étaient recevables (erreurs de calcul de l'impôt ou de report du montant imposable); or, ce genre de moyens n'avait pas été invoqué. Par ailleurs, le contribuable n'avait pas fait valoir de motifs d'empêchement non fautif pouvant faire l'objet d'une décision sur restitution du délai et sa réclamation était de toute façon infondée. Par décision du 15 mars 2004, l'Administration cantonale a déclaré irrecevable la réclamation de l'intéressé du 14 octobre 2002 contre les décisions de taxation relatives à la période fiscale 2001/2002, soit celle du 19 septembre 2001 concernant l'impôt cantonal et communal sur le revenu et la fortune et celle du 13 février 2002 concernant l'impôt fédéral direct. Il a considéré en substance que la réclamation, formée quelques mois après les décisions de taxation litigieuses, était tardive. La notification du bordereau du 25 septembre 2002 n'était pas une décision de taxation et seuls les griefs portant sur des questions relatives à la perception de l'impôt cantonal et communal étaient recevables (erreurs de calcul de l'impôt ou de report du montant imposable); or, ce genre de moyens n'avait pas été invoqué. Par ailleurs, le contribuable n'avait pas fait valoir de motifs d'empêchement non fautif pouvant faire l'objet d'une décision sur restitution du délai et sa réclamation était de toute façon infondée. C. Par arrêt du 10 novembre 2006, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a rejeté le recours de l'intéressé et confirmé la décision sur réclamation du 15 mars 2004, tant en ce qui concerne l'impôt cantonal et communal que l'impôt fédéral direct 2001/2002. Il a retenu en bref que c'était à juste titre que l'Administration cantonale avait considéré que la réclamation de l'intéressé contre la taxation cantonale était tardive. Une révision de la décision attaquée ne pouvait au demeurant pas entrer en considération vu que l'intéressé aurait pu contester le refus de prendre en compte les pertes commerciales au cours de la procédure ordinaire. S'agissant de l'impôt fédéral direct, la réclamation était tardive contre la décision du 13 février 2002; l'absence de motivation de ladite décision n'empêchait pas son entrée en force, car elle n'avait pu, au vu des circonstances, empêcher l'intéressé de déposer une réclamation dans le délai légal. Aucun motif de révision n'entrait au demeurant en ligne de compte contre cette décision. En ce qui concernait la taxation du 17 février 2003, la réclamation, qui n'était pas tardive mais prématurée, était infondée dans la mesure où elle était recevable. En effet, une taxation intermédiaire avait été effectuée lors de la cessation d'activité du contribuable le 29 février 2000. La question de l'imposition du bénéfice en capital avait été réglée définitivement le 12 juin 2001, avec l'accord de l'intéressé, et le fisc avait renoncé à imposer un bénéfice de liquidation pour tenir compte des pertes réalisées. Le contribuable ne pouvait donc déduire une deuxième fois ses pertes dans le cadre de sa déclaration 2001/2002. C. Par arrêt du 10 novembre 2006, le Tribunal administratif du canton de Vaud (ci-après: le Tribunal administratif) a rejeté le recours de l'intéressé et confirmé la décision sur réclamation du 15 mars 2004, tant en ce qui concerne l'impôt cantonal et communal que l'impôt fédéral direct 2001/2002. Il a retenu en bref que c'était à juste titre que l'Administration cantonale avait considéré que la réclamation de l'intéressé contre la taxation cantonale était tardive. Une révision de la décision attaquée ne pouvait au demeurant pas entrer en considération vu que l'intéressé aurait pu contester le refus de prendre en compte les pertes commerciales au cours de la procédure ordinaire. S'agissant de l'impôt fédéral direct, la réclamation était tardive contre la décision du 13 février 2002; l'absence de motivation de ladite décision n'empêchait pas son entrée en force, car elle n'avait pu, au vu des circonstances, empêcher l'intéressé de déposer une réclamation dans le délai légal. Aucun motif de révision n'entrait au demeurant en ligne de compte contre cette décision. En ce qui concernait la taxation du 17 février 2003, la réclamation, qui n'était pas tardive mais prématurée, était infondée dans la mesure où elle était recevable. En effet, une taxation intermédiaire avait été effectuée lors de la cessation d'activité du contribuable le 29 février 2000. La question de l'imposition du bénéfice en capital avait été réglée définitivement le 12 juin 2001, avec l'accord de l'intéressé, et le fisc avait renoncé à imposer un bénéfice de liquidation pour tenir compte des pertes réalisées. Le contribuable ne pouvait donc déduire une deuxième fois ses pertes dans le cadre de sa déclaration 2001/2002. D. L'intéressé a porté sa cause devant le Tribunal fédéral, concluant, sous suite de frais et dépens, à l'annulation de l'arrêt du 10 novembre 2006 et au renvoi de la cause au Tribunal administratif pour nouvelle décision. Il requiert que l'"effet suspensif" soit accordé à toutes les poursuites et saisies fondées sur ses déclarations 2001/2002, 2003, 2004 et 2005 ainsi qu'à l'exécution de la saisie no 469424 de l'Office des poursuites de Y._, et ce jusqu'à droit connu sur la déduction de sa perte commerciale de 58'144 fr. 85 et sur le calcul du montant de sa fortune immobilière. Il fait valoir pour l'essentiel que l'autorité intimée a violé l'art. 35 de la loi du 4 juillet 2000 sur les impôts directs cantonaux du canton de Vaud (ci-après: LI/VD) relatif à la déduction des pertes ainsi que l'art. 6 CEDH. Il se prévaut également du principe de l'égalité devant la loi. Le Tribunal administratif a renoncé à déposer une réponse et s'est référé aux considérants de son arrêt, tandis que l'Administration cantonale a conclu à son rejet. L'Administration fédérale des contributions a proposé le rejet du recours, sous suite de frais. Le 14 décembre 2006, la Chancellerie de la IIe Cour de droit public a informé le recourant que le recours avait effet suspensif de par la loi (art. 111 al. 1 OJ) pour les périodes concernées et que, pour le surplus, sa requête était rejetée. Sans y avoir été invité, X._ a encore déposé une écriture le 27 mars 2007.