Erwägungen:
1. 1.1 Am 15. Juli 2011 wurden X._ die definitiven Veranlagungen zu den Kantons- und Gemeindesteuern sowie zur direkten Bundessteuer 2010 mitgeteilt. Dagegen gelangte er am 2. August 2011 mit Rekurs (betreffend Kantons- und Gemeindesteuern) bzw. Beschwerde (betreffend direkte Bundessteuer) an das Obergericht des Kantons Schaffhausen, wobei er einerseits die Aufhebung der endgültigen Veranlagungsmitteilung beantragte, andererseits einen Antrag auf "abstrakte Normenkontrolle betreffend Anwendung von Art. 23 StG" (Gesetz des Kantons Schaffhausen vom 20. März 2000 über die direkten Steuern) stellte und die Überprüfung der Anwendbarkeit von Art. 23 StG verlangte. Das Obergericht wies X._ mit Schreiben vom 5. August 2011 auf die formellen Beschwerdevoraussetzungen hin (Notwendigkeit der Erschöpfung des Instanzenzugs hinsichtlich der Anfechtung der Veranlagung; Ausschluss der Überprüfung von Gesetzen im Normenkontrollverfahren); es wurde ihm Frist bis 22. August 2011 angesetzt um mitzuteilen, ob er sowohl an der Beschwerde als auch an seinem Normenkontrollgesuch festhalten wolle. X._ hielt in der Folge telefonisch an der Beschwerde fest, erklärte aber, dass er kein Normenkontrollgesuch im eigentlichen Sinn habe stellen wollen, sondern lediglich der Auffassung sei, dass Art. 23 StG auf einen Fall wie den seinen allgemein nicht anwendbar sei.
Das Obergericht des Kantons Schaffhausen trat mit Verfügung vom 26. August 2011 auf Rekurs und Beschwerde nicht ein. X._ hat sich dazu am 30. August 2011 zunächst beim Obergericht selber geäussert.
1.2 Mit Rechtsschrift vom 12. September 2011, die er als "ordentliche Beschwerde (Normenkontrollverfahren) sowie Verfassungsbeschwerde" bezeichnet, beantragt X._ dem Bundesgericht die Aufhebung der obergerichtlichen Verfügung und eventuelle Zurückweisung des Falles an das Obergericht zur Behebung der gerügten Verfahrensmängel sowie die Überprüfung der Anwendbarkeit von Art. 23 Abs. 1 StG.
Am 21. September 2011, noch innert laufender Beschwerdefrist, hat sich der Beschwerdeführer unaufgefordert ergänzend geäussert. Er beantragt zusätzlich die vorfrageweise Überprüfung von Art. 150 Abs. 1 StG.
Das Bundesgericht hat die Akten des Obergerichts beigezogen; ein Schriftenwechsel wurde nicht angeordnet.
1.3 Mit dem vorliegenden instanzabschliessenden Urteil wird das am 21. September 2011 nachträglich gestellte Gesuch um aufschiebende Wirkung gegenstandslos.
2. 2.1 Gemäss Art. 42 Abs. 1 BGG haben Rechtsschriften die Begehren und deren Begründung zu enthalten. In der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletze. Die Begründung muss sachbezogen sein; der Beschwerdeführer muss sich gezielt mit den für das Ergebnis des angefochtenen Entscheids massgeblichen Erwägungen auseinandersetzen. Eine diesen Anforderungen genügende Rechtsschrift ist Voraussetzung für das Eintreten auf ein Rechtsmittel.
2.2 Den beiden Eingaben des Beschwerdeführers lässt sich nichts entnehmen, was die Annahme des Obergerichts, er habe auf ein Normenkontrollverfahren im eigentlichen Sinn verzichtet, als rechtsverletzend erscheinen liesse. Ohnehin wäre das Obergericht zur abstrakten Überprüfung von formellen Gesetzen nicht ermächtigt (Art. 46 des Schaffhauser Justizgesetzes vom 9. November 2009). Dem Rechtsverweigerungsvorwurf fehlt in dieser Hinsicht jegliche Grundlage. Raum für eine Auseinandersetzung mit dem Inhalt einer Gesetzesnorm bestand für das Obergericht mithin allein im Rahmen eines konkreten Anwendungsfalls.
2.3 Das Obergericht hat alsdann denn auch folgerichtig nur geprüft, ob im konkreten Falle des Beschwerdeführers die allgemeinen Voraussetzungen für seine Anrufung im Rahmen eines Veranlagungsverfahrens erfüllt seien. Es hat dies unter Hinweis auf die gesetzliche Regelung verneint: Gemäss Art. 149 Abs. 1 und 2 StG werden vorerst, mit der Veranlagungsmitteilung, die Steuerfaktoren bekannt gegeben; die Schlussrechnung ist später zuzustellen; erst sie gilt als Eröffnung der Veranlagung. Gegen die Schlussrechnung kann innert 30 Tagen nach Zustellung bei der Steuerbehörde schriftlich Einsprache erhoben werden (Art. 150 Abs. 1 StG). Erst gegen den Einspracheentscheid kann mit Rekurs bzw. Beschwerde ans Obergericht gelangt werden (Art. 161 Abs. 1 StG bzw. Art. 140 Abs. 1 DBG.
Der Beschwerdeführer kritisiert diese Rechtsmittelordnung. Dabei bleibt unerfindlich, inwiefern die Regelung, wonach nicht schon die Veranlagungsmitteilung, sondern erst die Schlussrechnung mit einem Rechtsmittel angefochten werden kann, das Legalitätsprinzip, Art. 9 BV, Art. 7 KV oder sonstwie schweizerisches Recht verletzen soll. Ebenso wenig vermag der Beschwerdeführer darzulegen, inwiefern die Pflicht, vorerst Einsprache zu erheben, die erwähnten Grundrechte und Rechtsprinzipien missachte, überspitzt formalistisch und unverhältnismässig sei bzw. das Legalitätsprinzip oder gar den Grundsatz der Einheit der Materie verletze.
2.4 Insgesamt zeigt der Beschwerdeführer selbst im Ansatz nicht auf, inwiefern das Obergericht mit der Behandlung des kantonalen Rechtsmittels, namentlich mit der Abgrenzung zwischen der Anfechtung von Entscheiden einerseits oder direkt von Gesetzesnormen andererseits, oder überhaupt mit seiner Verfahrensgestaltung gegen schweizerisches Recht (Art. 95 BGG) verstossen haben könnte. Er kommt damit der ihm obliegenden Begründungspflicht gemäss Art. 42 Abs. 2 BGG bzw. (soweit die Verletzung verfassungsmässiger Rechte gerügt werden soll) Art. 106 Abs. 2 BGG nicht nach.
2.5 Zu ergänzen bleibt, dass das Bundesgericht selber zur abstrakten Kontrolle längst erlassener Gesetzesnormen angesichts von Art. 101 BGG nicht unmittelbar angerufen werden könnte.
2.6 Die Beschwerde enthält offensichtlich keine hinreichende Begründung (Art. 108 Abs. 1 lit. b BGG), und es ist darauf mit Entscheid des Einzelrichters im vereinfachten Verfahren nach Art. 108 BGG nicht einzutreten.
2.7 Die Gerichtskosten (Art. 65 BGG) sind entsprechend dem Verfahrensausgang dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 erster Satz BGG).
Demnach erkennt der Präsident:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Obergericht des Kantons Schaffhausen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. Oktober 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Feller