Sachverhalt:
A. Kantonal letztinstanzlich bestätigte das Verwaltungsgericht des Kantons Thurgau am 28. Januar 2009 einen Steuerdomizilentscheid vom 31. August 2007, mit dem die kantonale Veranlagungsbehörde festgehalten hatte, dass X._ auch nach dem 20. Mai 2005 in A._ unbeschränkt steuerpflichtig sei; der Pflichtige habe den Beweis für einen Lebensmittelpunkt und somit einen neuen Wohnsitz im Ausland nicht erbracht.
B. Am 12. März 2009 hat X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten eingereicht. Er stellt den Antrag, das verwaltungsgerichtliche Urteil aufzuheben; es sei festzustellen, dass er ab dem 19. Mai 2005 im Kanton Thurgau und in der Schweiz nicht mehr steuerpflichtig sei. Im Weiteren seien das Urteil der Steuerrekurskommission des Kantons Thurgau, der Einspracheentscheid sowie der Steuerdomizilentscheid aufzuheben; die Steuerverwaltung des Kantons Thurgau und das Steueramt A._ seien anzuweisen, ihn ab dem 19. Mai 2005 aus der Steuerpflicht im Kanton Thurgau und in der Schweiz zu entlassen. Zudem erhebt er subsidiäre Verfassungsbeschwerde und ersucht um die Gewährung der unentgeltlichen Rechtspflege.
C. Die Steuerverwaltung des Kantons Thurgau hat sich nicht vernehmen lassen, das Verwaltungsgericht hat auf eine Stellungnahme verzichtet, und die Eidgenössische Steuerverwaltung beantragt die Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Beim angefochtenen Urteil handelt es sich um einen letztinstanzlichen kantonalen Steuerdomizilentscheid, d.h. um eine Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten gemäss <ref-law> an das Bundesgericht weitergezogen werden kann. Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde legitimiert. Auf sein frist- und formgerecht eingereichtes Rechtsmittel ist grundsätzlich einzutreten (<ref-law>).
1.2 Es ist jedoch fraglich, ob die Beschwerdeschrift den gesetzlichen Begründungsanforderungen (vgl. Art. 42 u. 106 BGG) zu genügen vermag. Bei der gegenüber Laienbeschwerden üblichen wohlwollenden Betrachtungsweise kann das insofern angenommen werden, als die Eingabe den Rechtsstandpunkt bzw. die Argumente der Beschwerdeführer hinreichend deutlich werden lässt und diese Argumente sich in sachlicher sowie gebührender Form auf das vorliegende Verfahren beziehen. Unzulässig ist das Rechtsmittel, soweit es sich gegen die kantonal vorinstanzlichen Entscheide richtet, da diese durch das verwaltungsgerichtliche Urteil ersetzt worden sind. Ebenso wenig kann auf das Feststellungsbegehren eingetreten werden, weil das schutzwürdige Interesse ebenso gut mit einem rechtsgestaltenden Entscheid gewahrt werden kann (vgl. <ref-ruling> E. 2c S. 303). Dasselbe gilt für die subsidiäre Verfassungsbeschwerde, weil die Beschwerde in öffentlich-rechtlichen Angelegenheiten offen steht (vgl. <ref-law>).
1.3 Der Beschwerdeführer vertritt weiter die Auffassung, dass sich sein Rechtsmittel auch auf die direkte Bundessteuer beziehe. Der Entscheid der Steuerrekurskommission beschränkte den Streitgegenstand indessen eindeutig auf die Staats- und Gemeindesteuern, was in der Beschwerde an das Verwaltungsgericht nicht gerügt wurde. Vor Bundesgericht kann dieser Gegenstand nicht wieder erweitert und auf das dahingehende Rechtsbegehren des Beschwerdeführers somit ebenfalls nicht eingetreten werden.
2. 2.1 Der Beschwerdeführer macht geltend, er habe in seiner Eingabe vom 19. Januar 2009 (Postaufgabe 6. Februar 2009) den Antrag gestellt, der Präsident des Verwaltungsgerichts habe wegen Befangenheit in den Ausstand zu treten. Der Präsident habe trotzdem am angefochtenen Urteil mitgewirkt, wodurch er seine Ausstandspflicht verletzt habe.
2.2 Nach <ref-law> und Art. 6 Ziff. 1 EMRK hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter beurteilt wird. Es soll garantiert werden, dass keine Umstände, welche ausserhalb des Prozesses liegen, in sachwidriger Weise zu Gunsten oder zu Lasten einer Partei auf das Urteil einwirken (vgl. <ref-ruling> E. 2a S. 84; <ref-ruling> E. 3 S. 73; <ref-ruling> E. 2 und 3 S. 122 ff.; <ref-ruling> E. 4a S. 261; <ref-ruling> E. 5a S. 227 ff.; <ref-ruling> E. 3 S. 53 ff.; mit Hinweisen). Aus dem Grundsatz von Treu und Glauben und dem Verbot des Rechtsmissbrauchs (<ref-law>), welche auch im Verfahrensrecht Geltung haben, folgt jedoch für die Garantie auf einen unvoreingenommenen Richter, dass Ablehnungs- oder Ausstandsgründe so früh wie möglich geltend zu machen sind. Das steht im öffentlichen Interesse des geordneten Funktionierens der Justiz. Treuwidrig und rechtsmissbräuchlich handelt die Partei, welche solche Einwände nicht unmittelbar dann vorbringt, wenn sie davon Kenntnis erhält, sondern sich stillschweigend auf ein Verfahren einlässt, um erst im Nachhinein, d.h. bei ungünstigem Prozessverlauf und voraussehbarem Prozessverlust oder sogar erst im Rechtsmittelverfahren, vorzubringen, es habe ein befangener Richter mitgewirkt (vgl. zum Ganzen u.a. <ref-ruling> E. 4.3.1 S. 21; <ref-ruling> E. 4.3 S. 496 f.; <ref-ruling> E. 2b S. 85; <ref-ruling> E. 3c S. 253 f.; <ref-ruling> E. 2 S. 122 f.; <ref-ruling> E. 5a S. 227 ff.; <ref-ruling> E. 3a S. 284; StE 2008 A 21.2 Nr. 5 E. 2; mit Hinweisen).
Der Betroffene kann zwar erst dann beurteilen, ob sein verfassungsmässiger Anspruch auf richtige Besetzung der entscheidenden Behörde und eine unparteiische Beurteilung seiner Sache gewahrt wird, wenn er weiss, welche Personen am Entscheid mitwirken. Indessen ist es nicht nötig, dass ihm die Namen ausdrücklich mitgeteilt werden, sondern es genügt, wenn diese einer allgemein zugänglichen Publikation, wie etwa einem Staatskalender, entnommen werden können. Ist die Partei durch einen Anwalt vertreten, hat sie auf jeden Fall die ordentliche Zusammensetzung eines Gerichts zu kennen. Das gilt in besonderem Ausmass für den Präsidenten letzter kantonaler Instanzen, soweit ihre Mitwirkung am strittigen Entscheid ohne weiteres vorweg ersichtlich ist oder zumindest ernsthaft damit gerechnet werden muss (vgl. u.a. BGE <ref-ruling> 4.4 S. 497; <ref-ruling> E. 3b S. 279 f.; <ref-ruling> E. 2 S. 61 ff.; mit Hinweisen).
2.3 Mit Blick auf diese Grundsätze wurde das Ausstandsbegehren hier verspätet gestellt. Es hätte bereits mit der Beschwerde an die Vorinstanz erfolgen müssen, da der Beschwerdeführer damals noch rechtsanwaltlich vertreten war und somit wissen musste, dass mit der Mitwirkung des Präsidenten zumindest ernsthaft zu rechnen war. Stattdessen wurde es erst geäussert, als das fragliche Urteil - im Beisein der abgelehnten Person - bereits ergangen war.
3. 3.1 Der Präsident der Vorinstanz gab die Vernehmlassungen der Steuerverwaltung und -rekurskommission des Kantons Thurgau mit Schreiben vom 20. November 2008 dem damaligen Rechtsvertreter des Beschwerdeführers bekannt. Dazu hielt er fest: "Da nicht grundsätzlich Neues vorgebracht wird, erachte ich den Schriftenwechsel als abgeschlossen. Das weitere Vorgehen ist Sache des Gerichts." Der Beschwerdeführer sieht darin eine Verletzung seines rechtlichen Gehörs, da ihm der Anspruch, auf die Stellungnahmen der Steuerbehörden zu replizieren, rechtswidrig verweigert worden sei.
3.2 Als Teilaspekt eines gerechten Verfahrens im Sinne von <ref-law> (siehe auch Art. 6 Abs. 1 EMRK) verlangt der Anspruch auf rechtliches Gehör (<ref-law>) insbesondere, dass die Gerichte die rechtserheblichen Vorbringen der Parteien anhören und bei der Entscheidfindung berücksichtigen (vgl. <ref-ruling> E. 2 S. 242 f.). Der Anspruch umfasst das Recht, von jeder dem Gericht eingereichten Stellungnahme Kenntnis zu nehmen und sich dazu äussern zu können (vgl. <ref-ruling> E. 2 S. 99 f.; <ref-ruling> E. 4.5 und 4.6 S. 103 f.; sowie <ref-ruling> E. 3.3.3 S. 46 f. mit Hinweisen auf die Rechtsprechung des Europäischen Gerichtshofs für Menschenrechte), unabhängig davon, ob diese neue Tatsachen oder Argumente enthält und ob sie das Gericht tatsächlich zu beeinflussen vermag (vgl. <ref-ruling> E. 2.1 S. 99: <ref-ruling> E. 4.3-4.6 S. 102 ff.; siehe auch <ref-ruling> E. 3c S. 175 f.; 125 Ia 113 E. 2a S. 115; mit Hinweisen). Denn es steht in erster Linie der Partei und nicht dem Richter zu, darüber zu befinden, ob neu beigebrachte Unterlagen eine Stellungnahme rechtfertigen (vgl. Urteil 2C_688/2007 vom 11. Februar 2008 E. 2.2 mit Hinweisen). In diesem Sinne besteht aufgrund von <ref-law> ein eigentliches Replikrecht, und zwar in sämtlichen Gerichtsverfahren, d.h. selbst in jenen, die nicht in den Anwendungsbereich von Art. 6 Ziff. 1 EMRK fallen (vgl. <ref-ruling> E. 2.1 S. 99).
Für die Wahrung des Rechtsanspruchs muss nicht zwingend ein zweiter Schriftenwechsel angeordnet oder eine Frist zur Stellungnahme angesetzt werden; vielmehr genügt es in der Regel, eine neu eingegangene Eingabe der Partei zur Kenntnisnahme zu übermitteln und noch eine kurze Weile mit der Entscheidfällung zu warten, damit diese die Möglichkeit hat, sich nochmals zu äussern, wenn sie das möchte (vgl. <ref-ruling> E. 2.2 S. 99 f.).
Das Gericht verletzt diesen Gehörsanspruch, wenn es bei der Zustellung einer Vernehmlassung an die beschwerdeführende Partei zum Ausdruck bringt, der Schriftenwechsel sei abgeschlossen, oder wenn die Eingabe mit einer Bemerkung übermittelt wird, aus der die Partei schliessen muss, dass sie keine Stellungnahme mehr abgeben dürfe oder eine ungebetene Stellungnahme unerwünscht sei (vgl. BGE <ref-ruling> E. 4.8 S. 105; <ref-ruling> E. 3.3.2 S. 46; sowie Urteil 2C_688/2007 vom 11. Februar 2008, E. 2.2 und Urteil 1C_3/2009 vom 8. Juni 2009 E. 2.1).
3.3 Eine solche Zustellung mit gleichzeitiger Ankündigung, der Schriftenwechsel sei abgeschlossen, erfolgte hier unbestrittenermassen. Damit wurde das Replikrecht des Beschwerdeführers verletzt. Zwar liess sich der Beschwerdeführer mit Eingabe vom 19. Januar 2009 (Postaufgabe 6. Februar 2009) trotzdem noch vernehmen. Diese Eingabe konnte von der Vorinstanz in ihrem Urteil vom 28. Januar 2009 jedoch nicht berücksichtigt werden. Es kann dem Beschwerdeführer auch nicht entgegengehalten werden, seine Vorgehensweise zeige, dass er seinen Anspruch gekannt habe, sogar ungeachtet der genannten Ankündigung zu replizieren, was er dann aber innert angemessener Frist hätte tun müssen und nicht erst mehr als zwei Monate danach. Die Einhaltung einer derartigen Frist wird zwar zu Recht dann gefordert, wenn die Stellungnahme eines anderen Verfahrensbeteiligten dem Betroffenen einfach zur Kenntnis zugestellt wird, ohne den Schriftenwechsel als abgeschlossen zu erklären und somit das Replikrecht zu verletzen. Erfolgt dagegen eine Gehörsverletzung, so rechtfertigt sich das genannte Erfordernis nicht, zumindest unter den hier zu beurteilenden Umständen.
4. 4.1 Da die Rüge einer Verletzung des Anspruchs auf rechtliches Gehör formeller Natur ist und sich hier als begründet erweist, soweit auf die Beschwerde einzutreten ist, muss das zur Aufhebung des angefochtenen Urteils und zur Rückweisung der Sache an das Verwaltungsgericht führen, ohne dass die Angelegenheit vom Bundesgericht materiell geprüft wird (vgl. u.a. <ref-ruling> E. 2b. S. 132; <ref-ruling> E. 2 S. 92). Die Vorinstanz wird unter Berücksichtigung der Replik vom 19. Januar 2009 neu zu urteilen haben. Dabei muss sie aber nicht über das Ausstandsbegehren befinden. Da dieses Begehren schon mit der Beschwerde an das Verwaltungsgericht hätte gestellt werden müssen (vgl. oben E. 2.3), bleibt es verspätet, wenn die Sache von der Vorinstanz in einem späteren Verfahrensstadium wieder aufzunehmen ist.
4.2 Es rechtfertigt sich, auf die Erhebung von Kosten für das bundesgerichtliche Verfahren zu verzichten (<ref-law>). Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird damit gegenstandslos. Dem nicht anwaltlich vertretenen Beschwerdeführer steht keine Parteientschädigung zu (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, das angefochtene Urteil des Verwaltungsgerichts des Kantons Thurgau vom 28. Januar 2009 aufgehoben und die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege wird abgeschrieben.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 13. November 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Matter