Faits: A. X._, domicilié à Y._, exerce une activité de promoteur immobilier en société simple avec un architecte qui conçoit des villas et des appartements en propriétés par étages. Il est principalement chargé de la commercialisation des biens immobiliers conçus par son associé. Dans sa déclaration d'impôt 2001/2002bis, il a annoncé comme revenus provenant de son activité lucrative indépendante un montant de 216'217 fr. pour 2001 et de 802'798 fr. pour 2002. Le 25 mars 2004, l'Office d'impôt du district de Lavaux a rendu deux décisions de taxation, imposant séparément les gains de l'intéressé au titre de revenus extraordinaires au sens des art. 218 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 82 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11; en vigueur depuis le 1er janvier 2001, dans sa teneur jusqu'au 31 décembre 2002), ce que ce dernier a contesté en vain par la voie de la réclamation. Le 5 septembre 2007, X._ a interjeté recours contre la décision sur réclamation du 3 août 2007 auprès du Tribunal cantonal du canton de Vaud. Les gains qui avaient été réalisés entre 1999 et 2004 s''inscrivaient dans le développement ordinaire de ses affaires, de sorte qu'ils ne pouvaient être qualifiés d'extraordinaires. B. Par arrêt du 17 novembre 2008, le Tribunal cantonal a rejeté le recours. Il a considéré en substance que les bénéfices en capital provenant de la vente d'immeuble par un commerçant professionnel dans le cadre de son activité commerciale ordinaire constituaient des bénéfices extraordinaires en raison de leur caractère fluctuant. Exceptionnellement, dans des circonstances très particulières, l'intéressé pouvait démontrer qu'il s'agissait d'un gain ordinaire. En l'espèce, les gains immobiliers réalisés entre 1999 et 2005 n'étaient pas réguliers. Ils fluctuaient entre 238'914 fr. en 2001 et 1'065'745 fr. en 2003. Au demeurant, la période au sein de laquelle l'intéressé établissait une comparaison était trop courte pour démontrer la régularité des gains justifiant de les qualifier de revenus ordinaires. C. Agissant par la voie du recours en matière de droit public, X._ a déposé deux mémoires auprès du Tribunal fédéral. En matière d'impôt fédéral direct, il demande, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 17 novembre 2008, de dire que les gains immobiliers réalisés en 2001 et en 2002 sont des revenus ordinaires et de renvoyer la cause pour nouvelle décision dans le sens des considérants. En matière d'impôt cantonal, il demande, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal cantonal du 17 novembre 2008, de dire que les gains immobiliers réalisés en 2001 et en 2002 sont des revenus ordinaires et de renvoyer la cause pour nouvelle décision dans le sens des considérants. Il se plaint de la violation des art. 218 LIFD et 82 LI/VD, de la violation de son droit d'être entendu, de l'interdiction de l'arbitraire et de celle de la double imposition. Le Tribunal cantonal renonce à déposer des observations. L'Administration cantonale des impôts et l'Administration fédérale des contributions concluent au rejet des recours dans la mesure où ils sont recevables.