Sachverhalt: A. X._ und seine damalige Partnerin Y._ lebten im Jahr 2001 im gleichen Haushalt zusammen, liessen sich aber getrennt besteuern. Bei der Staats- und der direkten Bundessteuer machte X._ u.a. sämtliche Aufwendungen zum Abzug geltend, die er für den Unterhalt der gemeinsamen Tochter Z._ (geb. 1998) gegenüber der allein sorgeberechtigten Kindsmutter erbracht habe, d.h. insgesamt Fr. 23'812.-- für das ganze betreffende Jahr. B. Mit Einspracheentscheid vom 10. August 2007 gewährte die Steuerverwaltung des Kantons Bern gegenüber X._ nicht den ganzen von ihm beanspruchten Abzug, sondern nur den vollen Kinder- bzw. Betreuungskostenabzug, unter Anpassung des Versicherungsabzugs, d.h. bei der Staats- und der Bundessteuer je Fr. 6'300.--. Dagegen gelangte der Betroffene erfolglos an die Steuerrekurskommission und danach an das Verwaltungsgericht des Kantons Bern. C. Am 19. März 2010 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt sinngemäss, das verwaltungsgerichtliche Urteil aufzuheben und bei der Staats- sowie der direkten Bundessteuer 2001 die gesamten Aufwendungen von Fr. 23'812.-- als Abzug vom steuerbaren Einkommen zuzulassen. D. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Bern sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.