Sachverhalt: X._ gelangte mit Eingabe vom 2. November 2006 an die Veranlagungsbehörde Olten-Gösgen mit dem Begehren, es sei ihm die Staatssteuer 1997 zurückzuerstatten. Er begründete den Rückerstattungsanspruch damit, dass die Veranlagung für die Staatssteuer 1997 nicht rechtsgültig eröffnet worden sei. Das Kantonale Steueramt Solothurn gab dem Begehren mit Schreiben vom 29. November 2006 nicht statt. Es führte aus, dass die Steuern tatsächlich bezahlt wurden, womit auch die Eröffnung der Veranlagung nachgewiesen sei; zudem sei der Rückerstattungsanspruch verjährt. Der Steuerpflichtige erhob Rekurs beim Steuergericht des Kantons Solothurn. Dieses trat mit Urteil vom 21. Mai 2007 auf das Rechtsmittel nicht ein mit der Hauptbegründung, das Schreiben des Steueramtes vom 29. November 2006 sei keine anfechtbare Verfügung. Es fügte bei, dass der Rekurs auch materiell unbegründet wäre, wenn darauf einzutreten wäre. Hiergegen führt der Steuerpflichtige Beschwerde beim Bundesgericht. Er beantragt, der Entscheid des kantonalen Steuergerichts sei aufzuheben und die Sache zur materiellen Behandlung an das Steuergericht zurückzuweisen. Es sei festzustellen, dass der Rückerstattungsanspruch nicht verjährt sei. Ein Schriftenwechsel ist nicht angeordnet worden.