Sachverhalt:
A. X._ und seine damalige Partnerin Y._ lebten im Jahr 2001 im gleichen Haushalt zusammen, liessen sich aber getrennt besteuern. Bei der Staats- und der direkten Bundessteuer machte X._ u.a. sämtliche Aufwendungen zum Abzug geltend, die er für den Unterhalt der gemeinsamen Tochter Z._ (geb. 1998) gegenüber der allein sorgeberechtigten Kindsmutter erbracht habe, d.h. insgesamt Fr. 23'812.-- für das ganze betreffende Jahr.
B. Mit Einspracheentscheid vom 10. August 2007 gewährte die Steuerverwaltung des Kantons Bern gegenüber X._ nicht den ganzen von ihm beanspruchten Abzug, sondern nur den vollen Kinder- bzw. Betreuungskostenabzug, unter Anpassung des Versicherungsabzugs, d.h. bei der Staats- und der Bundessteuer je Fr. 6'300.--. Dagegen gelangte der Betroffene erfolglos an die Steuerrekurskommission und danach an das Verwaltungsgericht des Kantons Bern.
C. Am 19. März 2010 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Er beantragt sinngemäss, das verwaltungsgerichtliche Urteil aufzuheben und bei der Staats- sowie der direkten Bundessteuer 2001 die gesamten Aufwendungen von Fr. 23'812.-- als Abzug vom steuerbaren Einkommen zuzulassen.
D. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Bern sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Die Beschwerde ist zulässig (vgl. Art. 82 ff. BGG in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11] bzw. mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]).
2. 2.1 Von den steuerbaren Einkünften werden gemäss Art. 33 Abs. 1 lit. c DBG bzw. Art. 38 Abs. 1 lit. c des Steuergesetzes des Kantons Bern vom 21. Mai 2000 (StG/BE, BSG 661.11, in der Fassung gemäss Art. 9 Abs. 2 lit. c StHG) u.a. die Unterhaltsbeiträge an einen Elternteil für die unter dessen elterlicher Sorge stehenden Kinder abgezogen. Andererseits sind gemäss Art. 23 lit. f DBG sowie Art. 28 lit. f StG (in der Fassung gemäss Art. 7 Abs. 2 lit. g StHG) als Einkommen die Unterhaltsbeiträge steuerbar, die ein Elternteil für die unter seiner elterlichen Sorge stehenden Kinder erhält. Diese Bestimmungen nehmen nicht Rücksicht auf das Haushaltsverhältnis (soweit das bernische Recht einen "getrennt lebenden Elternteil" voraussetzt, geht Art. 9 Abs. 2 lit. c StHG vor), weshalb es unerheblich ist, ob die Eltern im gemeinsamen Haushalt leben oder nicht. Voraussetzung ist nur, dass die Eltern nicht (mehr) gemeinschaftlich im Sinne von Art. 9 Abs. 1 DBG bzw. Art. 10 Abs. 1 StG/BE besteuert werden. In quantitativer Hinsicht gilt: Was auf der Seite des Leistungsschuldners abgezogen werden kann, ist auf der Empfängerseite steuerbar. Dieser Grundsatz wird auch als Kongruenz- oder Korrespondenzprinzip bezeichnet (vgl. zum Ganzen u.a. <ref-ruling> E. 4.2 S. 308; <ref-ruling> E. 3 S. 184 f., E. 5 u. 6 S. 185 ff.; ASA 69 198 E. 3; StE 2007 B 27.2 Nr. 30 E. 3.2 u. 3.3; StR 62/2007, 364 E. 3.1; RDAF 2008 II 225 E. 5; mit weiteren Hinweisen).
2.2 Das Verwaltungsgericht hat sich auf die genannten Bestimmungen und Grundsätze gestützt, um die vom Beschwerdeführer geltend gemachten Aufwendungen zugunsten seiner Tochter nur im Umfang des vollen Kinder- bzw. Betreuungsabzugs (unter Anpassung des Versicherungsabzugs) zu gewähren. Das begründet die Vorinstanz damit, dass die geltend gemachten Kinderalimente nur dann zum Abzug zugelassen werden könnten, wenn sie auf einer gerichtlich genehmigten oder zumindest mit genauer Bezifferung schriftlich festgehaltenen Unterhaltsvereinbarung beruhen würden, wie sie hier im massgeblichen Zeitpunkt nicht bestanden habe. Ausserdem habe es der Beschwerdeführer unterlassen, die von ihm tatsächlich zugunsten seiner Tochter geleisteten Aufwendungen rechtsgenüglich zu belegen.
2.3 Dagegen wendet der Betroffene vor Bundesgericht im Wesentlichen zwei Argumente ein, die indessen beide nicht zu überzeugen vermögen:
2.3.1 Er beruft sich in erster Linie auf das in StE 2007 B 27.2 Nr. 30 veröffentlichte Bundesgerichtsurteil 2A.37/2006 vom 1. September 2007. Dort sei offen gelassen worden, ob Kinderalimente nur dann zum Steuerabzug zuzulassen seien, wenn sie auf einer gerichtlich oder zumindest amtsvormundschaftlich genehmigten Unterhaltsvereinbarung beruhen würden. Auch sei es in jenem Fall - wie vorliegend - darum gegangen, dass eine an sich klare und effektiv eingehaltene Zahlungsverpflichtung im Nachhinein behördlich bestätigt worden sei. Laut Bundesgericht wirke diese Genehmigung aber auf den - vor der massgeblichen Steuerperiode liegenden - Zeitpunkt des Abschlusses der Vereinbarung zurück, was auch hier zu gelten habe: Der Beschwerdeführer habe schon vor Z._s Geburt (am 7. Februar 1998) anerkannt, ihr Vater zu sein. Am 28. Mai 1998 habe er in einer amtsvormundschaftlich genehmigten Unterhaltsvereinbarung gegenüber der allein sorgeberechtigten Mutter die Verpflichtung übernommen, für den gesamten Unterhalt der gemeinsamen Tochter aufzukommen. Nach der Trennung von seiner Partnerin im November 2004 sei er am 21. Februar 2005 eine zweite, dieses Mal gerichtlich genehmigte Vereinbarung eingegangen. Danach sei er gehalten, seiner Ex-Partnerin für Z._ monatliche Alimente von Fr. 1'800.-- (von März bis Juli 2005) bzw. Fr. 2'000.-- (ab August 2005 bis zur Volljährigkeit des Kindes) zu zahlen. Das entspreche den Leistungen, die er schon in den Jahren zuvor (und namentlich 2001) erbracht habe. Die Vereinbarung von 2005 bestätige somit nur die bereits vorher gültige Situation und müsse deswegen auf die hier massgebliche Steuerperiode 2001 zurückwirken. Dementsprechend sei der Abzug für Unterhaltsbeiträge im beanspruchten Ausmass zu gewähren.
Aus dem genannten Bundesgerichtsurteil kann der Beschwerdeführer jedoch nichts zu seinen Gunsten ableiten. In Wirklichkeit unterscheiden sich die beiden Sachverhalte im entscheidenden Punkt wesentlich: Dort ging es um einen einzigen Konkubinatsvertrag, der den monatlich zu leistenden Unterhaltsbeitrag zugunsten der Tochter klar bezifferte. Dieser Vertrag war schon vor der zu beurteilenden Steuerperiode abgeschlossen, im betreffenden Jahr unbestrittenermassen eingehalten und lediglich noch nicht behördlich bestätigt worden. Unter solchen Umständen konnte die amtliche Genehmigung auf den Abschlusszeitpunkt zurückwirken (vgl. E. 3.4 des erwähnten Urteils). Hier hingegen handelt es sich um zwei verschiedene Vereinbarungen. Im Gegensatz zur zweiten enthält die erste keine klare Bezifferung der (monatlich) geschuldeten Kinderalimente und lehnt eine solche sogar in aller Deutlichkeit ab: Zwar komme der Beschwerdeführer "vollumfänglich für den Unterhalt der Familie" auf. Jedoch: "In Bezug auf die Regelung der Unterhaltsansprüche der gemeinsamen Tochter Z._ wünscht Frau Y._ ausdrücklich, dass kein Unterhaltsvertrag abgeschlossen wird, dies eigentlich entgegen der Praxis der Vormundschaftskommission der Stadt Bern, welche den Abschluss eines Vertrages vorschreibt." (vgl. Protokoll vom 28. Mai 1998). Somit kann die zweite Vereinbarung im wesentlichen Punkt nicht einfach als Übernahme der ersten bezeichnet werden. Genauso wenig lässt sich sagen, die in der Vereinbarung von 2005 festgelegten Monatsbeiträge würden beweisen, dass dieselben Leistungen schon zuvor erbracht worden seien. Anlässlich der Verhandlung vom 21. Februar 2005 stellte der Rechtsvertreter des Beschwerdeführers wohl den Antrag, es sei festzuhalten, dass der Beschwerdeführer bisher seiner Unterhaltspflicht im gesetzlichen Rahmen vollumfänglich nachgekommen sei. Das Verhandlungsprotokoll und die Vereinbarung selber enthalten indessen keine solche Feststellung.
Somit vermag weder die erste noch die zweite Vereinbarung in irgendeiner Weise zum Nachweis beizutragen, dass die für das Jahr 2001 zum Abzug geltend gemachten Kinderalimente von Fr. 23'812.-- rechtlich begründet bzw. tatsächlich geleistet worden wären. Dass dieser Nachweis (rechtsgenüglich) erbracht worden wäre, haben die kantonalen Instanzen bundesrechtskonform verneint. Zwar hat der Beschwerdeführer sämtliche Aufwendungen aufgelistet, die er zugunsten seiner Tochter erbracht habe, d.h. im Jahr 2001 durchschnittlich Fr. 1'984.30 pro Monat. Dieser Auflistung kommt indessen (wie auch den sonst eingereichten Belegen) kein hinreichender Beweiswert zu. Sie vermag eine genau bezifferte Leistungsverpflichtung und -erfüllung keineswegs zu ersetzen. Insbesondere stellen mehrere Posten blosse Schätzungen dar und sind nicht klar der Tochter zuzuordnen (z.B. die Beträge für deren "Anteil" an der Wohnungsmiete, den Mietneben- und Telefonkosten oder dem für Skiferien ausgegebenen Betrag). Abgesehen davon belegt die Liste auch nicht, dass - wie das notwendig wäre - die geltend gemachten Beträge direkt bzw. ausschliesslich für die Tochter bestimmt und auch effektiv sowie vollumfänglich bezahlt worden wären.
Aufgrund der besonderen Umstände des zu beurteilenden Einzelfalls kann hier somit ebenfalls offen bleiben, ob der Abzug für Kinderalimente zwingend und ausnahmslos eine formelle, gerichtlich oder zumindest amtlich genehmigte Vereinbarung voraussetzt. Selbst wenn vorliegend vom Erfordernis einer solchen Vereinbarung abgesehen werden könnte, sind die geltend gemachten Unterhaltsbeiträge auf jeden Fall nicht rechtsgenüglich nachgewiesen, was deren Abzug vom steuerbaren Einkommen des Beschwerdeführers ohnehin ausschliesst. Das entspricht einerseits dem zentralen Verfahrensgrundsatz, dass steuermindernde Tatsachen nur dann berücksichtigt werden können, wenn sie auch hinreichend belegt sind (vgl. dazu u.a. <ref-ruling> E. 4.3 S. 158). Dieses Ergebnis stimmt andererseits mit den Erfordernissen der materiellen Steuergerechtigkeit überein: Eine (insbesondere ziffernmässig) klare Ausgestaltung und eine rechtsgenüglich belegbare effektive Umsetzung einer Alimentenregelung drängen sich dabei nicht nur im Hinblick auf das Korrespondenzprinzip (vgl. oben E. 2.1) auf, sondern auch im Sinne einer rechtsgleichen Behandlung zwischen Ehe- und Konkubinatsverhältnissen, d.h. einer sachgerechten Verwirklichung des Grundsatzes der Besteuerung nach der wirtschaftlichen Leistungsfähigkeit (vgl. Art. 127 Abs. 2 BV): Bei unverheirateten Lebenspartnern nimmt die Praxis an, dass die Geltendmachung des Kinderalimenteabzugs nicht erst nach der Trennung der Partner möglich ist, sondern sogar schon in einem Fall wie dem vorliegenden, wo zwischen dem Leistungserbringer und der einzig sorgeberechtigten Kindsmutter (noch) ein intakter gemeinsamer Haushalt vorliegt (vgl. oben E. 2.1). Darin liegt selbst dann eine Besserstellung, wenn der beim Partner abgezogene Betrag bei der Lebensgefährtin besteuert wird. Das gilt insbesondere in einem Fall wie dem vorliegenden, wo die Partnerin nicht erwerbstätig und ohne Vermögen war; wäre der Unterhaltsbeitrag hier zum Abzug zugelassen worden, hätte das auf der einen Seite eine nicht unbedeutende Kürzung des steuerbaren Einkommens bewirkt und auf der anderen Seite eine deutlich geringere (Zusatz-)Besteuerung ausgelöst. Es scheint nicht angemessen, eine solche Besserstellung selbst dann zuzulassen, wenn der ihr zugrunde liegende Sachverhalt nicht einmal rechtsgenüglich nachgewiesen ist. Damit steht im Einklang, dass die Ablehnung des Alimentenabzugs hier nicht etwa dazu geführt hätte, dass im Rahmen der wahrgenommenen Unterhaltsverpflichtung keinerlei Abzüge zugelassen worden wären. Vielmehr sind all jene Abzüge gewährt worden, welche ein verheirateter Vater, der mit Frau und Kind im gemeinsamen Haushalt zusammenlebt, ebenfalls beanspruchen kann.
2.3.2 Im Weiteren bringt der Beschwerdeführer vor, die kantonale Steuerverwaltung habe die von ihm geltend gemachten Unterhaltsleistungen unbestritten gelassen und sie somit anerkannt, was ihn dazu verleitet habe, auf die Einreichung eingehenderer Belege zu verzichten. Erst die Steuerrekurskommission habe die Notwendigkeit eines genauen Nachweises der betreffenden Leistungen behauptet, ohne ihm aber Gelegenheit zu geben, diesen Nachweis zu erbringen. Das stelle eine Verletzung seines rechtlichen Gehörs dar, welche von der Vorinstanz auch nicht geheilt worden sei.
Diese Sichtweise ist klarerweise unbegründet. Zwischen allen Verfahrensbeteiligten ist zwar unumstritten, dass der Beschwerdeführer im Jahr 2001 vollumfänglich für den Unterhalt von Lebensgefährtin und Tochter aufkam, da seine Partnerin weder erwerbstätig noch vermögend war. Dieser Umstand, der in den Rechtsschriften des Beschwerdeführers auf sämtlichen Rechtsmittelstufen an zahlreichen Stellen wiederholt wird, ist jedoch nicht entscheidrelevant. Insbesondere kann daraus weder abgeleitet werden, dass die Unterhaltsleistungen als (monatliche) Zahlungen direkt und ausschliesslich für die Tochter ausgestaltet gewesen, noch dass die Zahlungen effektiv, vollumfänglich und ausnahmslos erfüllt worden wären. All diese Nachweise ist der Beschwerdeführer schuldig geblieben, ohne dass die Behörden ihn in irgendeiner Weise dazu verleitet hätten, sich von seiner Belegpflicht entbunden zu glauben. Ebenso wenig kann er sich darauf berufen, dass die ungenügende Regelung der finanziellen Verhältnisse in der ersten Vereinbarung von 1998 nicht auf seine Initiative zurückging, sondern allein auf dem ausdrücklichen Wunsch seiner damaligen Partnerin beruhte.
2.4 Somit hat die Vorinstanz zu Recht erwogen, dass die Vereinbarung vom 28. Mai 1998 (ebenso wie diejenige vom 21. Februar 2005) eine unzureichende Grundlage für die geltend gemachten Kinderalimente darstellt und dass der Beschwerdeführer auch sonst nicht rechtsgenüglich nachgewiesen hat, was bei der Staats- bzw. der direkten Bundessteuer 2001 den beanspruchten Abzug der betreffenden Beträge vom steuerbaren Einkommen rechtfertigen würde.
3. Nach dem Gesagten ist die Beschwerde vollumfänglich abzuweisen und wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde betreffend die direkte Bundessteuer bzw. betreffend die Kantons- und Gemeindesteuer wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung und dem Verwaltungsgericht des Kantons Bern sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 30. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Matter