Faits: A. Le 20 avril 1999, X._ a acquis aux enchères, pour le prix de 101'000 fr., l'immeuble no **** du registre foncier de la commune de Y._, d'une surface de *** m2. Cet immeuble abrite un bâtiment d'une surface de *** m2. Le reste est occupé par un jardin. Le 20 octobre 2003, le Service de défense incendie et secours est intervenu pour installer des barrières Vauban sur le domaine public, afin d'éviter des accidents dus à des chutes de tuiles du toit de l'immeuble de X._. Après avoir vainement ordonné au prénommé d'entreprendre des travaux de sécurisation de la toiture de son bâtiment, la Municipalité de Y._ a décidé, le 9 mars 2004, de faire exécuter ces travaux par substitution, aux frais de l'intéressé. En vue de garantir la prise en charge des frais par ce dernier, elle a fait inscrire une hypothèque légale d'un montant de 211'080 fr. sur l'immeuble en question. Le 9 juillet 2004, X._ a vendu l'immeuble pour le prix de 400'000 fr. Le 31 mars 2005, X._ a déposé la déclaration pour l'imposition du gain immobilier découlant de ce transfert. Il a fait valoir en déduction des impenses pour un montant total de 108'336 fr. Dans la liste des impenses figuraient notamment une facture de A._ SA à B._ d'un montant de 422 fr. et des factures de C._ à Y._ pour un montant total de 29'900 fr. B. Par décision de taxation du 30 mars 2007, l'Office d'impôt du district de Y._ a fixé l'assiette du gain immobilier à 293'800 fr. et le montant de l'impôt à 52'884 fr. Ce faisant, il a admis en déduction des impenses pour un montant total de 5'200 fr. Les factures précitées n'ont pas été prises en considération. A l'encontre de cette décision, X._ a formé une réclamation. A sa demande, une entrevue a eu lieu le 9 mai 2007 à l'Office d'impôt du district de Y._. Par courrier du 8 août 2007, X._ s'est prévalu de l'art. 265 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI; RS/VD 642.11), en demandant que l'estimation fiscale de son immeuble effectuée lors de la révision de 1997, à savoir 350'000 fr., soit considérée comme prix d'acquisition aux fins du calcul de l'impôt sur le gain immobilier, à la place du prix de 101'000 fr. auquel il lui avait été adjugé en 1999. Par décision du 12 décembre 2007, l'Administration cantonale des impôts a rejeté la réclamation. X._ a déféré ce prononcé au Tribunal cantonal vaudois. Dans une écriture du 11 mars 2008, l'Administration cantonale des impôts s'est déterminée sur le recours. Invité à se prononcer sur le contenu de cette écriture, X._ n'a pas déposé d'observations dans le délai imparti. Par courrier du 7 octobre 2008, le juge instructeur a invité le prénommé à fournir tous documents et renseignements utiles sur "la cause et la nature exacte" des travaux faisant l'objet notamment des factures de A._ SA du 27 février 2000 et de C._ du 30 septembre 2003. X._ a répondu le 10 novembre 2008 que C._ avait effectué les travaux exigés par le Service cantonal des monuments historiques, à savoir la réfection des galeries et le remplacement de certaines poutres de la toiture, alors que l'entreprise A._ SA s'était occupée de la rénovation et du remplacement des chenaux. Par arrêt du 21 janvier 2009, le Tribunal cantonal a rejeté le recours. Il a repoussé le grief de violation du droit d'être entendu tiré du fait que l'Administration cantonale des impôts aurait refusé de déduire certaines impenses sans motivation suffisante. S'agissant des factures précitées, les juges ont considéré que le recourant n'avait pas apporté les preuves permettant de considérer les travaux effectués par C._ et A._ SA comme des impenses. Ils ont en outre estimé que X._ ne pouvait se prévaloir de l'art. 265 LI. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais, principale- ment, de fixer l'impôt sur la base de l'estimation fiscale issue de la révision de 1993, en admettant en déduction les factures de C._ de 29'900 fr. et de A._ SA de 422 fr. et, subsidiairement, de renvoyer le dossier à l'autorité précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. L'Administration cantonale des impôts et l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, de l'impôt anticipé, des droits de timbre, concluent au rejet du recours. L'autorité précédente renonce à se déterminer, tout en se référant aux considérants et au dispositif de son arrêt du 21 janvier 2009.