Erwägungen:
1. X._, der seit 2010 Bezüger einer IV-Rente ist, wurde bis und mit 2008 regelmässig zur Wehrpflichtersatzabgabe veranlagt; die Veranlagungen, inklusive diejenige per 2008, sind rechtskräftig. Am 17. Mai 2010 stellte X._ beim Amt für Bevölkerungsschutz und Armee des Kantons Thurgau ein Gesuch um Erlass der Wehrpflichtersatzabgabe 2008. Das Amt entsprach dem Gesuch im Umfang von Fr. 874.05; die Bezahlung eines Restbetrags von Fr. 400.- in acht Raten à Fr. 50.-- erachtete es als zumutbar. Ein Rekurs an das Departement für Justiz und Sicherheit des Kantons Thurgau blieb erfolglos. Das Verwaltungsgericht des Kantons Thurgau wies die gegen den Departementsentscheid vom 19. August 2010 erhobene Beschwerde am 10. November 2010 ab.
Mit subsidiärer Verfassungsbeschwerde vom 29. November 2010 beschwert sich X._ beim Bundesgericht über die kantonalen Entscheide; er beantragt sinngemäss Gewährung des vollständigen Abgabeerlasses sowie Rückerstattung des bis anhin gezahlten Geldes (gemeint sind die seit 2005 geleisteten Ersatzabgabe-Zahlungen). Am 6. Dezember 2010 hat er der Aufforderung, den angefochtenen Entscheid nachzureichen, Folge geleistet.
Es ist weder ein Schriftenwechsel noch sind andere Instruktionsmassnahmen angeordnet worden.
2. 2.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss Art. 83 lit. m BGG unzulässig gegen Entscheide über die Stundung und den Erlass von Abgaben. Zur Anfechtung des Entscheids des Verwaltungsgerichts, der im Rahmen eines Erlassverfahrens ergangen ist, steht damit in der Tat einzig das vom Beschwerdeführer erhobene Rechtsmittel der subsidiären Verfassungsbeschwerde gemäss Art. 113 ff. BGG zur Verfügung.
2.2 Mit der Verfassungsbeschwerde kann (bloss) die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG), was besonderer Geltendmachung und Begründung bedarf (Art. 106 Abs. 2 in Verbindung mit Art. 42 Abs. 2 BGG). Sodann ist zur Verfassungsbeschwerde nur berechtigt, wer ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (Art. 115 lit. b BGG).
2.2.1 Der Beschwerdeführer führt zwar aus, er fühle sich in seinen Grundrechten als Schweizer massiv verletzt und beeinträchtigt, und er gibt seiner Hoffnung Ausdruck, dass das Bundesgericht ein Interesse an der Umsetzung des Gesetzes gemäss den Menschenrechten habe (gemeint ist Art. 4 Abs. 1 lit. a des Bundesgesetzes vom 12. Juni 1959 über die Wehrpflichtersatzabgabe [WPEG; SR 661], welcher die Befreiung von der Ersatzabgabe im Veranlagungsverfahren, nicht den Erlass der bereits rechtskräftig veranlagten Abgabe betrifft). Welche verfassungsmässigen Rechte durch den für ihn negativen Erlassentscheid tangiert sein sollten, legt der Beschwerdeführer nicht dar; er kommt damit seiner gesetzlichen Begründungspflicht nicht nach; dies allein führt schon zum Nichteintreten auf die Beschwerde (Art. 108 Abs. 1 lit. b BGG).
2.2.2 Nun ist die (durch den Friststillstand gemäss Art. 46 Abs. 1 lit. c BGG zusätzlich erstreckte) Frist zur Anfechtung des am 25. November 2010 versandten Entscheids des Verwaltungsgerichts nicht abgelaufen. Auch eine allfällige noch innert der Beschwerdefrist nachgereichte verbesserte Beschwerdeschrift könnte nicht zum Erfolg führen: Art. 37 Abs. 2 WPEG räumt keinen festen Rechtsanspruch auf Erlass der Wehrpflichtersatzabgabe ein (vgl. Urteil 2C_36/2008 vom 15. Januar 2008), weshalb es dem Beschwerdeführer an einem rechtlich geschützten Interesse im Sinne von Art. 115 lit. b BGG mangelt und er zur Verfassungsbeschwerde bezüglich der materiellen Erlassfrage nicht legitimiert ist (s. zur [fehlenden] Legitimation zur Verfassungsbeschwerde gegen einen Abgabeerlassentscheid Urteil 2D_138/2007 vom 21. Februar 2008 E. 2.2, publiziert in StR 63/2008 S. 380 f., betreffend den mit Art. 37 Abs. 2 WPEG weitgehend übereinstimmenden Art. 167 Abs. 1 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Unerfindlich bleibt, auf welcher Grundlage der Beschwerdeführer, über den Erlass der Abgabe per 2008 hinaus, gar die Rückerstattung der früher geleisteten Zahlungen beanspruchen könnte. Sein Rechtsmittel erweist sich als offensichtlich unzulässig (Art. 108 Abs. 1 lit. a BGG).
2.3 Auf die Beschwerde ist mit Entscheid des Einzelrichters im vereinfachten Verfahren gemäss Art. 108 BGG nicht einzutreten.
2.4 Die Umstände des Falles rechtfertigen es, auf die Erhebung von Kosten zu verzichten.
Demnach erkennt der Präsident:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Thurgau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 7. Dezember 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Feller