Sachverhalt:
A. X._, deutscher Staatsangehöriger, meldete sich per 1. September 2007 zur erwerbslosen Wohnsitznahme in der Stadtgemeinde Diessenhofen/TG an.
In der Steuererklärung für die Periode 2007 deklarierte er Renteneinkünfte der Deutschen Rentenversicherung (Fr. 2'299.-- pro Monat) sowie der Versorgungsanstalt des Bundes und der Länder (VBL; Fr. 1'202.-- pro Monat) und machte geltend, diese seien zum reduzierten Satz von 80 % zu versteuern. Ausserdem beanspruchte er einen Abzug in Höhe von Fr. 399.-- pro Monat für Alimentenzahlungen an seine getrennt lebende Ehefrau.
Mit Verfügung vom 22. Oktober 2008 veranlagte die Steuerverwaltung des Kantons Thurgau X._ für die Staats- und Gemeindesteuern pro 2007 und legte den Beginn der Steuerpflicht auf den 1. Juli 2007 fest. Dabei verweigerte sie bezüglich der Besteuerung des Renteneinkommens die vom Steuerpflichtigen geforderte Anwendung des reduzierten Satzes von 80 %. Die von ihm geltend gemachten Unterhaltszahlungen liess sie dagegen zum Abzug zu.
Gegen diese Taxation erhob X._ Einsprache und machte nun unter anderem einen höheren Abzug für Alimentenzahlungen geltend. Die Steuerverwaltung wies die Einsprache am 21. September 2009 vollumfänglich ab.
B. Hiergegen rekurrierte X._ an die Steuerrekurskommission des Kantons Thurgau mit den sinngemässen Begehren, den Beginn der Steuerpflicht auf den 1. September 2007 festzusetzen, das Renteneinkommen nur zu 80 % zu besteuern und Unterhaltsbeiträge in Höhe von Fr. 2'320.50 pro Monat zum Abzug zuzulassen. Am 22. Juni 2009 hiess die Steuerrekurskommission den Rekurs hinsichtlich des Beginns der Steuerpflicht gut. In Bezug auf den anwendbaren Steuersatz betreffend das Renteneinkommen sowie auf die Höhe der abzugsfähigen Unterhaltsbeiträge teilte sie den Standpunkt von X._ jedoch nicht, sondern hielt - im Gegenteil - sogar eine sog. reformatio in peius für gerechtfertigt: Die Rentenbeträge seien nicht nur vollumfänglich zu versteuern, sondern noch zu erhöhen, da nur die Leistungen nach Abzug der Kranken- und Pflegeversicherung erfasst worden seien. Zudem erachtete es die Steuerrekurskommission als nicht nachgewiesen, dass der Steuerpflichtige überhaupt Unterhaltszahlungen zu Gunsten der Ehefrau leistete. Eingang in das Dispositiv des Entscheids der Steuerrekurskommission fanden allerdings nur die Überlegungen zur Änderung des Beginns der Steuerpflicht. Die Erwägungen zur Erfassung höherer Rentenleistungen und zur Streichung des Abzugs für Unterhaltsbeiträge wurden dagegen im Dispositiv nicht umgesetzt; insoweit blieb es bei der Taxation gemäss Einspracheentscheid.
C. Gegen den Entscheid der Steuerrekurskomission beschwerte sich X._ beim Verwaltungsgericht des Kantons Thurgau. Dieses wies die Beschwerde mit Urteil vom 10. Februar 2010 ab, soweit es darauf eintrat. Das Verwaltungsgericht erwog, gemäss der Übergangsbestimmung von § 225 des Gesetzes des Kantons Thurgau vom 14. September 1992 über die Staats- und Gemeindesteuern (StG/TG) seien Renten und Kapitalabfindungen aus beruflicher Vorsorge, die vor dem 1. Januar 1987 zu laufen begonnen hätten oder fällig geworden seien oder vor dem 1. Januar 2002 zu laufen begonnen hätten oder fällig geworden seien und zudem auf einem Vorsorgeverhältnis beruhten, das am 31. Dezember 1984 bereits bestanden habe, zwar nur zu vier Fünfteln zu versteuern. Der Gesetzeswortlaut setze hierfür jedoch voraus, dass die Leistungen, auf denen der Anspruch beruhe, zu mindestens 20 % vom Steuerpflichtigen selber erbracht worden seien; andernfalls seien die Vorsorgeleistungen zum vollen Betrag zu erfassen. Da X._ nicht habe nachweisen können, dass er einen Beitragsanteil von mindestens 20 % selber getragen habe, und weil im Weiteren unklar geblieben sei, wie seine Beitragsleistungen steuerlich behandelt worden seien, könne er die reduzierte Besteuerung nicht beanspruchen. Zudem erachtete das Verwaltungsgericht die von X._ behaupteten, gemäss § 34 Abs. 1 Ziff. 5 StG/TG grundsätzlich abziehbaren Unterhaltsleistungen an die getrennt lebende Ehegattin als nicht erstellt: Vielmehr verwies es auf das vom Steuerpflichtigen eingereichte Gesuch vom 3. Oktober 2007 um Erteilung einer Aufenthaltsbewilligung EU/EFTA, in welchem dieser ausdrücklich erklärt habe, dass er keinerlei Alimente bezahle. Hinsichtlich der von der Steuerrekurskommission unterlassenen Umsetzung der reformatio in peius erklärte das Verwaltungsgericht, es könne diese nicht nachholen, weshalb es mit der Abweisung der Beschwerde sein Bewenden haben müsse, soweit X._ überhaupt ein genügendes Rechtsschutzinteresse an der gerichtlichen Überprüfung habe und auf das Rechtsmittel einzutreten sei.
D. Gegen das Erkenntnis des Verwaltungsgerichts betreffend die Staats- und Gemeindesteuern 2007 erhebt X._ mit Eingabe vom 15. April 2010 und - nach Belehrung über die Modalitäten der Beschwerdeerhebung - mit einer weiteren Eingabe vom 30. April 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, die Vorsorgeleistungen seien für das Steuerjahr 2007 und die Folgejahre steuerlich nur zu 80 % als Einkommen zu erfassen. Im Weiteren seien diese Vorsorgeleistungen - im Umfang als sie den für die Wohnsitznahme in der Schweiz erforderlichen Betrag übersteigen - als Unterhaltszahlung an die Ehefrau zu betrachten und deshalb zum Abzug zuzulassen. Schliesslich seien die ihm auferlegten Verfahrenskosten zu halbieren, wenn nicht sogar ganz den Behörden zu überbinden, und jedenfalls neu zu berechnen.
E. Das Verwaltungsgericht des Kantons Thurgau beantragt, die Beschwerde abzuweisen. Die kantonale Steuerverwaltung schliesst ebenfalls auf Abweisung, soweit auf die Beschwerde einzutreten sei. Die Eidgenössische Steuerverwaltung hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. 1.1 Das angefochtene Urteil stellt einen kantonal letztinstanzlichen Endentscheid in einer Angelegenheit des öffentlichen Rechts dar, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (<ref-law> in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG; SR 642.14]). Der Beschwerdeführer ist durch das angefochtene Urteil beschwert und gemäss <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die unter Berücksichtigung des Fristenstillstandes um Ostern (<ref-law>) fristgerecht eingereichte Beschwerde kann daher grundsätzlich eingetreten werden (unter Vorbehalt von E. 1.2 - E. 1.4 hiernach).
1.2 Dem Bundesgericht kann nur zur Überprüfung gebracht werden, was bereits Gegenstand der vorinstanzlichen Beurteilung war. Das Verwaltungsgericht hat ausschliesslich über die Veranlagung des Beschwerdeführers für die Steuerperiode 2007 entschieden. Soweit der Beschwerdeführer darüber hinaus betreffend die steuerliche Erfassung der Rentenleistungen Festlegungen für die nachfolgenden Steuerjahre beantragt, kann auf die Beschwerde nicht eingetreten werden.
1.3 Gemäss <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten. Im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den vorinstanzlichen Erwägungen auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht, wozu auch das kantonale Steuergesetz und die (Verfahrens-)Vorschriften über die Kostenverlegung vor den kantonalen Instanzen gehören. Das Bundesgericht prüft eine Rüge betreffend die Rechtsanwendung solcher Normen nur, soweit sie in der Beschwerde präzise vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
1.4 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Mit einer Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine vorinstanzliche Feststellung und die ihr zugrunde liegende Beweiswürdigung nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich ist (<ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398) oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht. Zudem muss aufgezeigt werden, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Neue Begehren sind unzulässig (<ref-law>).
2. 2.1 Der Beschwerdeführer beantragt die privilegierte Besteuerung der bezogenen Rentenleistungen gemäss § 225 Abs. 1 Ziff. 1 StG/TG. Voraussetzung dazu ist der Nachweis genügender Eigenleistungen, den die kantonalen Behörden als nicht erbracht betrachtet haben. Der Beschwerdeführer kann mit seinem Begehren daher nur durchdringen, wenn es ihm gelingt, die entsprechenden Feststellungen der Vorinstanz als willkürlich erscheinen zu lassen (vgl. E. 1.3 und E. 1.4 hiervor).
2.2 Hinsichtlich der Rente der Deutschen Rentenversicherung verweist der Beschwerdeführer auf eine Bestätigung derselben vom 8. September 2009, wonach er "zu mindestens 20 % an der Beitragsleistung zur Deutschen Rentenversicherung beteiligt" gewesen sei. Die Vorinstanz hat dieses Schreiben und die weiteren in diesem Zusammenhang vorhandenen Schriftstücke gewürdigt und ist zum Ergebnis gelangt, dass aus ihnen nicht hervorgehe, wie hoch die vom Beschwerdeführer persönlich erbrachten Beiträge und ihr Anteil an den gesamten Beitragsleistungen effektiv gewesen seien, weshalb der Nachweis von mindestens 20 % Eigenleistungen nicht erbracht worden sei. Auf diese Argumentation des Verwaltungsgerichts geht der Beschwerdeführer mit keinem Wort ein und er legt insbesondere nicht dar, weshalb die vorinstanzliche Beweiswürdigung offensichtlich falsch bzw. willkürlich sein soll; stattdessen beschränkt er sich auf die erneute Wiedergabe seines bereits zuvor geäusserten Standpunktes, indem er auf das erwähnte Beweismittel verweist. Mit diesem Vorgehen genügt er den Anforderungen an die Begründungspflicht nicht (E. 1.3 hiervor), und seine Einwendungen können daher nicht gehört werden.
2.3 Gleiches gilt betreffend die Leistungen der VBL: Der Beschwerdeführer bringt vor, dass diesbezüglich seine eigene, handschriftlich erstellte Zusammenstellung ausreichen müsse. Diese ist von der Vorinstanz ebenso als ungenügend beurteilt worden, wie die weiteren in diesem Zusammenhang eingereichten Schriftstücke. Aus den Letzteren gingen zwar die Beitragsanteile von Arbeitgeber und -nehmer betreffend die Jahre 1951 bis 1986 hervor; indes sei diesen Dokumenten ebenso zu entnehmen, dass ab dem Jahr 1967 zusätzliche "Umlagen" des Arbeitgebers hinsichtlich der Beitragsleistung erfolgt und seit dem Jahr 1978 sogar die gesamten Beitragsleistungen in dieser Form durch den Arbeitgeber getragen worden seien. Eine Bestimmung des vom Beschwerdeführer persönlich erbrachten Anteils sei daher nicht möglich. Der Beschwerdeführer vermag wiederum nicht aufzuzeigen, dass diese Würdigung der beigebrachten Beweismittel offensichtlich falsch ist.
2.4 Hat somit die Feststellung der Vorinstanz Bestand, wonach hinreichende Eigenleistungen nicht nachgewiesen sind, kann dem Verwaltungsgericht keine qualifiziert falsche Rechtsanwendung vorgeworfen und dem Begehren um Gewährung der privilegierten Besteuerung nicht stattgegeben werden. Die Beschwerde ist in diesem Punkt abzuweisen, soweit darauf überhaupt einzutreten ist.
3. Den beanspruchten Abzug für Unterhaltsbeiträge an die von der Tochter betreute Ehefrau des Beschwerdeführers hat die Vorinstanz ebenfalls verweigert, weil sie derartige Zahlungen nicht als nachgewiesen erachtete. Der Beschwerdeführer bringt dagegen bloss vor, die Unterhaltsleistungen würden privatrechtlich geregelt und die Tochter beziehe die für die Betreuung der Mutter benötigten Mittel direkt von den gemeinsamen Konten. Im Übrigen treffe die Prozesserklärung der Tochter über die der Mutter zustehenden Anteile am Renteneinkommen nicht zu und präsentiere sich die Rechnung anders. Mit diesen Behauptungen kann der Beschwerdeführer die Sachverhaltsfeststellungen der Vorinstanz in keiner Weise erschüttern. Damit fehlt die Grundlage zum Abzug von Alimentenzahlungen und ist die Beschwerde auch in diesem Punkt abzuweisen, soweit sie an die Hand genommen werden kann. Bei diesem Ergebnis kann offen bleiben, ob das diesbezügliche Begehren des Beschwerdeführers - Abzug von Unterhaltszahlungen in Höhe der Renteneinkünfte, soweit diese den zur Wohnsitznahme in der Schweiz erforderlichen Betrag übersteigen - nicht als neu betrachtet werden muss und deshalb von vornherein unzulässig ist (<ref-law>).
4. Schliesslich beanstandet der Beschwerdeführer die Kostenverlegung durch die kantonalen Behörden. Zur Begründung gibt er an, er sei nicht allein verantwortlich für die verschiedenen Verfahren und habe relevante Informationen verspätet erhalten.
Die Kostenverlegung für die im Kanton durchlaufenen Verfahren richtet sich nach kantonalem Recht. Der Beschwerdeführer legt nicht dar, welche Vorschrift oder welcher für die Kostenliquidation massgebende Grundsatz qualifiziert falsch angewendet worden sei (<ref-law>; vgl. E. 1.3 hiervor), weshalb auf die Rüge nicht eingetreten werden kann. Im Übrigen wäre ohnehin nicht ersichtlich, inwiefern die Kostenverlegung zu Beanstandungen Anlass geben sollte: Im Veranlagungs- und Einspracheverfahren wurde der Beschwerdeführer nicht mit Kosten belastet. Die Steuerrekurskommission auferlegte ihm wegen teilweisem Obsiegen nur eine reduzierte Gebühr. Vor dem Verwaltungsgericht ist er vollständig unterlegen und hatte dementsprechend auch die gesamten Verfahrenskosten zu tragen. Ein Rechtsfehler ist nicht zu erkennen.
5. Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Ergebnis hat der Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu übernehmen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Steuerverwaltung und dem Verwaltungsgericht des Kantons Thurgau sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. August 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Zähndler