Faits: A. De 1986 à 2006, X._ a vécu avec sa compagne Y._ et leur fille A._, née en 1990. Il est père de deux autres enfants, B._ et C._, nés d'une précédente union respectivement en 1977 et 1979. En 2003, X._ a travaillé comme employé architecte et a perçu un salaire de 48'000 fr. Il a déclaré avoir versé une contribution de 700 fr. par mois pour son fils aîné, étudiant en architecture à Genève, qui avait un domicile séparé à Lausanne, de même que pour sa fille aînée, C._, étudiante aux Beaux-Arts, à Aix-en-Provence, mais légalement domiciliée chez sa mère, à Lausanne. Il a également prétendu avoir versé le même montant mensuel de 700 fr. pour sa fille A._, conformément à la convention d'entretien du 27 septembre 1990 passée avec la mère. Dans sa déclaration d'impôt pour la période fiscale 2003, il a déclaré un revenu imposable de 2'300 fr. au taux de 1'500 fr. (quotient 1,5) et une fortune imposable nulle. B. Le 17 octobre 2004, X._ a déposé une réclamation contre la décision de taxation du 28 septembre 2004 en matière d'impôts cantonal et communal, ainsi que la notification du 12 octobre 2004 pour l'impôt fédéral direct. Il a maintenu cette réclamation à la suite de la nouvelle détermination des éléments imposables de l'autorité de taxation du 4 mars 2005, reprise par l'Administration cantonale des impôts du canton de Vaud le 15 mars 2007. X._ s'opposait à ce que soit ajouté à son revenu le montant des allocations familiales perçues et la pension alimentaire versée à sa fille C._. Après un nouvel échange de correspondances, l'Administration cantonale des impôts a, par décision du 23 février 2009, admis partiellement la réclamation du 17 octobre 2004 pour la période fiscale 2003 et fixé le revenu imposable en matière d'impôts cantonal et communal à 22'000 fr. au taux de 12'600 fr. (quotient 1,75), la fortune imposable étant nulle, et le revenu imposable en matière d'impôt fédéral direct à 27'700 fr. (barème célibataire). C. X._ a recouru contre cette décision auprès du Tribunal cantonal vaudois (Cour de droit administratif et public), en concluant à sa réforme sur plusieurs points. Il contestait tout d'abord l'application à son cas du règlement du Conseil d'Etat du 11 janvier 2006 remplaçant provisoirement le règlement du 11 décembre 2000 sur l'imposition de la famille (RIFam; RSVD 642.11.3), qui n'était pas en vigueur en 2003. Il démontrait ensuite que les allocations familiales perçues pour ses filles C._ et A._ s'élevaient respectivement à 210 fr. et 160 fr. par mois, soit à 4'400 fr. au total par an, et non à 4'950 fr. comme retenu à tort par l'autorité fiscale. Il s'opposait aussi à ce que ces allocations familiales soient ajoutées à son revenu et demandait à ce que soit déduite de son revenu la pension alimentaire de 700 fr. par mois, soit 8'400 fr. en 2003, qu'il disait avoir versée pour sa fille A._, en application d'une convention d'entretien du 27 septembre 1990. Par arrêt du 14 avril 2010, le Tribunal cantonal a admis très partiellement le recours et a réformé la décision attaquée en ce sens que le montant imposable au titre des allocations familiales devait être réduit à 4'400 fr. Partant, il a arrêté le revenu imposable du recourant à 21'000 fr. au taux de 12'500 fr. (quotient 1.75) pour les impôts cantonal et communal et à 27'500 fr. (barème célibataire) pour l'impôt fédéral direct. D. X._ recourt auprès du Tribunal fédéral contre l'arrêt du Tribunal cantonal du 14 avril 2010 et conclut à son annulation, sous suite de frais, ainsi qu'à l'admission de ses conclusions (points 1 à 7) figurant dans son recours adressé au Tribunal cantonal le 26 mars 2010. Le Tribunal cantonal se réfère à son arrêt et conclut au rejet du recours. L'Administration cantonale des impôts a déposé des observations au terme desquelles elle conclut au rejet du recours dans la mesure où il est recevable. L'Administration fédérale des contributions conclut au rejet du recours quant au fond, sous suite de frais. Le 2 septembre 2010, le recourant a fait parvenir au Tribunal fédéral une correspondance précisant certains points en relation avec la mère de sa fille A._ et accompagnée des règlements cantonaux sur l'imposition de la famille des 11 décembre 2000 et 11 janvier 2006.