Sachverhalt:
Mit Einspracheentscheid vom 7. Januar 2011 wies das Steueramt des Kantons Solothurn eine Einsprache von X._ hinsichtlich der Staatssteuer und der direkten Bundessteuer 2007 überwiegend ab. Der Versand erfolgte mit "A-Post-Plus" am 10. Januar 2011. Gegen den Einspracheentscheid führte der Steuerpflichtige mit Eingabe vom 7. Februar 2011 (Postaufgabe vom 13. Februar 2011) Rekurs und Beschwerde beim Steuergericht des Kantons Solothurn. Dieses trat mit Urteil vom 16. Mai 2011 auf die Rechtsmittel nicht ein, da diese verspätet eingereicht worden seien.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, das Urteil des Steuergerichts des Kantons Solothurn vom 16. Mai 2011 sei aufzuheben und dieses anzuweisen, Beschwerde und Rekurs materiell zu behandeln; eventualiter sei die Sache zurückzuweisen und das Steuergericht anzuweisen, unter Wiederherstellung der Rechtsmittelfristen die Angelegenheit materiell zu behandeln.
Das Kantonale Steueramt Solothurn, das Steuergericht des Kantons Solothurn und die Eidgenössische Steuerverwaltung beantragen Abweisung der Beschwerde (soweit darauf einzutreten ist).

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen den Entscheid des Kantonalen Steuergerichts Solothurn über die Staatssteuer und die direkte Bundessteuer ist zulässig (Art. 82 ff., 86 Abs. 1 lit. d und Abs. 2 BGG; Art. 73 StHG [SR 642.14]). Der Beschwerdeführer ist zur Beschwerde legitimiert (<ref-law>). Die hier zu prüfenden Vorschriften über die Beschwerdefrist und deren Wiederherstellung sind harmonisiert (Art. 140 Abs. 1 und Art. 140 Abs. 4 in Verbindung mit <ref-law> [SR 642.11]; Art. 50 Abs. 1 StHG [SR 642.14]; § 160 Abs. 2, § 137 Abs. 2 des Steuergesetzes des Kantons Solothurn [StG]). Für den Beschwerdeführer erübrigte es sich daher, für die direkte Bundessteuer und die Staatssteuer je eine Beschwerdebegründung zu verfassen. Aus dem gleichen Grund rechtfertigt es sich, die direkte Bundessteuer und die Staatssteuer im gleichen Urteil zu behandeln.
1.2 Mit der Beschwerde kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden, von kantonalem Recht nur in den von lit. c-e dieser Vorschrift vorgesehenen Fällen. Die Verletzung von kantonalem Recht bildet keinen eigenständigen Rügegrund. Soweit das Bundessteuerrecht und das kantonale Steuerrecht harmonisiert sind, prüft das Bundesgericht auch die Anwendung des kantonalen Rechts frei. Nur wo der Bundesgesetzgeber den Kantonen einen Ermessensspielraum eingeräumt hat, beschränkt sich die Prüfungsbefugnis des Bundesgerichts auf Willkür (<ref-ruling> E. 2).
Die Feststellung des Sachverhalts der Vorinstanz kann, soweit rechtserheblich, nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; <ref-ruling> E. 5.1).
1.3 Einzig streitig ist die Frage der Rechtzeitigkeit der kantonalen Rechtsmittel. Das Steuergericht des Kantons Solothurn erwog, der Einspracheentscheid sei dem Beschwerdeführer am 11. Januar 2011 zugestellt worden, womit die Rekurs- und Beschwerdefrist am 12. Januar 2011 zu laufen begonnen habe. Am 10. Februar 2011 sei die 30-tägige Rekurs- und Beschwerdefrist (§ 160 Abs. 1 und Art. 140 Abs. 1 DBG) abgelaufen. Rekurs und Beschwerde seien der Post am 11. Februar 2011 und damit verspätet übergeben worden. Auf die Rechtsmittel sei folglich nicht einzutreten.
2. Der Beschwerdeführer rügt eine offensichtlich unrichtige Feststellung des Sachverhalts. Er habe bereits gegenüber der Vorinstanz geltend gemacht, dass die Sendung mit dem Einspracheentscheid in den Milchkasten gelegt worden sei. Die Feststellung, die Zustellung des Einspracheentscheids sei in den Briefkasten erfolgt, sei willkürlich. Die Vorinstanz habe ihre Feststellung zudem nicht begründet, was einer Verletzung des rechtlichen Gehörs gleichkomme.
Gemäss Art. 10 der Verordnung des UVEK zur Postverordnung vom 18. März 1998 (SR 783.011) besteht der Briefkasten aus Brief- und Ablagefach (s. auch Schweizerische Post, Factsheet "Der Hausbriefkasten"). Nach den Allgemeinen Geschäftsbedingungen "Postdienstleistung" der Schweizerischen Post (Ziffer 2.3.1) gelten Sendungen u.a. als zugestellt, wenn sie in den Brief- oder Ablagekasten gelegt werden. Als Milchkasten wird zum Teil heute noch das Ablagefach im Briefkasten bezeichnet. Dort wurde früher die bestellte Milch deponiert. Der Beschwerdeführer hat seinen Milchkasten nicht näher beschrieben. Wenn daher die Vorinstanz festhielt, die Zustellung des Einspracheentscheids sei in den Briefkasten erfolgt, hat sie weder den Sachverhalt offensichtlich unrichtig festgestellt, noch bedurfte diese Feststellung einer zusätzlichen Begründung.
3. Der Beschwerdeführer rügt sodann eine Verletzung des Anspruchs auf rechtliches Gehör, weil die Vorinstanz sein Gesuch um Wiederherstellung der Rekurs- und Beschwerdefrist nicht behandelt habe. Er habe ein solches Gesuch in Form eines Eventualantrages in der Replik vom 14. April 2011 gestellt.
Gemäss <ref-law> in Verbindung mit <ref-law> ist eine Wiederherstellung der Beschwerdefrist zulässig, wenn es dem Steuerpflichtigen aus erheblichen Gründen (wie etwa Militär- oder Zivildienst, Krankheit, Landesabwesenheit u. dgl.) nicht möglich war, rechtzeitig zu handeln. Zudem muss die versäumte Handlung, hier die Beschwerde, nachdem der Hinderungsgrund weggefallen ist, innert 30 Tagen nachgeholt werden. Eine analoge Regelung enthält auch das kantonale Recht. Unter diesen Voraussetzungen ist die Fristversäumnis zu entschuldigen (§ 160 Abs. 2 StG in Verbindung mit § 137 Abs. 2 StG).
Die Vorinstanz trat auf Rekurs und Beschwerde nicht ein und hat damit auch das Gesuch um Fristwiederherstellung (zwar nicht ausdrücklich, aber implizit) abgelehnt. Sie nahm zum Gesuch auch materiell Stellung: Der Beschwerdeführer machte als Hinderungsgrund für rechtzeitiges Handeln geltend, der Einspracheentscheid sei nicht ordnungsgemäss zugestellt und eröffnet worden und er habe aus diesem Grund vom Einspracheentscheid nicht rechtzeitig Kenntnis erhalten. Die Begründung des Fristwiederherstellungsgesuchs deckt sich somit mit dem, was der Beschwerdeführer zur Frage der ordnungsgemässen Zustellung und Eröffnung des Einspracheentscheids vorgetragen hat, und geht darüber nicht hinaus. Diese Vorbringen hat die Vorinstanz aber geprüft (und verworfen, wie noch zu zeigen ist). Der Anspruch auf rechtliches Gehör ist daher nicht verletzt.
I. Direkte Bundessteuer
4. 4.1 Verfügungen und Entscheide der Steuerbehörden werden dem Steuerpflichtigen schriftlich eröffnet und müssen eine Rechtsmittelbelehrung enthalten (<ref-law>). Weitere Formvorschriften stellt das Gesetz nicht auf. Nach allgemeinen Grundsätzen muss die Eröffnung dem Adressaten ermöglichen, von der Verfügung oder der Entscheidung Kenntnis zu erlangen, um diese gegebenenfalls sachgerecht anfechten zu können. Die Verfügung oder der Entscheid gilt als eröffnet, wenn er ordnungsgemäss zugestellt ist und der Steuerpflichtige davon Kenntnis nehmen kann; dass er davon tatsächlich Kenntnis nimmt, ist nicht erforderlich (<ref-ruling> E. 1 S. 143; <ref-ruling> E. 2a; für A-Post-Plus, s. Urteil 2C_430/2009 vom 14. Januar 2010 E. 2.4, in: StR 65/2010 S. 396). Ob die Steuerbehörde ihre Verfügungen und Entscheide mit gewöhnlicher Post, eingeschriebenem Brief oder mit der hier gewählten Zustellungsart A-Post-Plus zustellen will, bleibt somit ihr überlassen.
Allerdings dürfen aus einer mangelhaften (steuer-)behördlichen Zustellung einem Pflichtigen keine Nachteile erwachsen (BGE <ref-ruling> E. 2 S. 297 ff., ASA 67 391 E. 2a, 62 622 E. 5, je mit weiteren Hinweisen; Urteil 2C_883/2010 vom 7. April 2011 E. 2.1, in: StE 2011 B 92.7 Nr. 8). Wird für die Eröffnung einer Verfügung eine Zustellungsform verwendet, bei welcher der Eingang beim Adressaten nicht genau nachweisbar ist, so ist es Sache der Behörde, den Beweis dafür zu erbringen, dass und an welchem Tag ihr Entscheid dem Pflichtigen zugestellt worden ist. Das betrifft in erster Linie uneingeschrieben verschickte (Veranlagungs-)Verfügungen. Wird bestritten und bestehen Zweifel darüber, dass ein Entscheid den Empfänger erreicht hat, fällt die Beweislast dafür der Behörde zu, welche die Beweislosigkeit verursacht hat (vgl. <ref-ruling> E. 3 S. 98 ff., 114 III 51 E. 3c u. 4 S. 53 ff., je mit weiteren Hinweisen).
4.2 Vorliegend erfolgte die Zustellung des Einspracheentscheids als sog. "A-Post-Plus"-Sendung. Bei dieser Versandmethode wird der Brief mit einer Nummer versehen und ähnlich wie ein eingeschriebener Brief mit A-Post spediert. Im Unterschied zu den eingeschriebenen Briefpostsendungen wird aber durch den Empfänger der Empfang nicht quittiert. Die Zustellung wird vielmehr elektronisch erfasst, wenn die Sendung in das Postfach oder in den Briefkasten des Empfängers gelegt wird. Auf diese Weise ist es möglich, mit Hilfe des elektronischen Suchsystems "Track & Trace" der Post die Sendung bis zum Empfangsbereich des Empfängers zu verfolgen. Im Falle des Beschwerdeführers wurde die Sendung mit dem Einspracheentscheid vom 7. Januar 2011 am 10. Januar 2011, 17.20 Uhr, durch das Postamt Solothurn 1 unter der Nummer 98.01.010095.000_ registriert, weitergeleitet und am 11. Januar 2011, 11.45 Uhr, durch das Postamt A._ an den Beschwerdeführer zugestellt.
Zugestandenermassen hat der Beschwerdeführer die Briefpostsendung mit dem Einspracheentscheid am 14. Januar 2011 dem Ablagefach (resp. dem "Milchkasten") entnommen und damit vom Einspracheentscheid tatsächlich Kenntnis erhalten (Beschwerde S. 13). Auf diesen Zeitpunkt kommt es aber nach dem Gesagten nicht an, sondern auf den Zeitpunkt, da der Beschwerdeführer von der zu eröffnenden Verfügung oder Entscheidung Kenntnis nehmen konnte. Das war bei der Hinterlegung der Sendung im Briefkasten des Beschwerdeführers am 11. Januar 2011 der Fall (<ref-ruling> E. 1 S. 143). Die Beschwerde- und Rekursfrist von 30 Tagen begann somit am 12. Januar 2011 zu laufen und endete nach Ablauf von 30 Tagen am 10. Februar 2011 (Art. 140 Abs. 4 in Verbindung mit <ref-law>). Die erst am 13. Februar 2011 der Post übergebene Sendung mit Rekurs und Beschwerde zu Handen des Steuergerichts des Kantons Solothurn ist somit verspätet.
4.3 Der Beschwerdeführer beruft sich auf Irregularitäten bei der Zustellung des Einspracheentscheides mit A-Post-Plus.
In der Tat liegt ein Fehler bei der Postzustellung nicht ausserhalb jeder Wahrscheinlichkeit, so dass damit nicht gerechnet werden müsste. Eine fehlerhafte Postzustellung ist allerdings nicht zu vermuten, sondern nur anzunehmen, wenn sie aufgrund der Umstände plausibel erscheint. Auf die Darstellung des Steuerpflichtigen, dass eine fehlerhafte Postzustellung vorliegt, ist daher abzustellen, wenn seine Darlegung der Umstände nachvollziehbar ist und einer gewissen Wahrscheinlichkeit entspricht, wobei sein guter Glaube zu vermuten ist (Urteil 2A.293/2001 vom 21. Mai 2002 E. 1b, nicht publ.; <ref-ruling> E. 3 S. 46 f.; Urteil 2P.54/2000 vom 5. Juli 2000 E. 2c, in: StE 2001 B 93.6 Nr. 22 mit Hinweis auf <ref-ruling> E. 2a S. 66). Die zulässige Berufung auf eine mangelhafte behördliche Eröffnung wird zudem durch den Grundsatz von Treu und Glauben beschränkt. Besteht beispielsweise Ungewissheit über den genauen Zeitpunkt der Zustellung, hat der Adressat aus Gründen des Vertrauensschutzes und der Rechtssicherheit selbst alles Zumutbare zu unternehmen, um den genauen Zeitpunkt und den Lauf der Rechtsmittelfrist in Erfahrung zu bringen (vgl. auch <ref-ruling> E. 3b S. 71 f.; <ref-ruling> E. 2d S. 422).
Die rein hypothetischen Überlegungen des Beschwerdeführers, wonach die Sendung einem Nachbarn zugestellt worden sein könnte, sind daher unbehelflich. Der Beschwerdeführer räumt selbst ein, dass er das Ablagefach resp. den Milchkasten nicht täglich auf Briefpost kontrolliert (Beschwerde S. 13). Sollte er aus diesem Grund über das genaue Zustelldatum im Unklaren gewesen sein, hätte er das genaue Zustelldatum anhand der unterhalb des Strichcodes aufgedruckten Suchnummer per Internet auf der Webseite der Post mit Hilfe des elektronischen Suchsystems ("Track & Trace") ermitteln oder - mangels eines Internetanschlusses - das Zustelldatum auch bei der Post oder der Steuerbehörde in Erfahrung bringen können. Auf jeden Fall nahm er von der Postsendung mit dem Einspracheentscheid spätestens am 14. Januar 2011 - und damit innert nützlicher Frist - Kenntnis. An diesem Ergebnis vermögen auch die weiteren Verfassungsrügen und Einwendungen des Beschwerdeführers, die sich gegen die Zustellung mit A-Post-Plus richten (vgl. Beschwerde S. 8 ff.), nichts zu ändern, weshalb darauf nicht weiter einzugehen ist. Die Beschwerde ist hinsichtlich der direkten Bundessteuer abzuweisen, soweit darauf einzutreten ist.
II. Staatssteuer
5. Die kantonalen Vorschriften über die Form von Verfügungen und Entscheiden der Steuerbehörden (§ 136 Abs. 1 StG) und über Beginn und Ende des Fristenlaufs (§ 1 in Verbindung mit § 9 Abs. 1 und 2 des Verwaltungsrechtspflegegesetzes des Kantons Solothurn, VRG) stimmen mit den entsprechenden Vorschriften für die direkte Bundessteuer überein. Die Beschwerde ist folglich auch hinsichtlich der Staatssteuer abzuweisen, soweit darauf einzutreten ist.
III. Kosten
Da der Beschwerdeführer unterliegt, sind ihm die bundesgerichtlichen Kosten aufzuerlegen (Art. 65 und 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird hinsichtlich der direkten Bundessteuer abgewiesen, soweit darauf einzutreten ist.
2. Die Beschwerde wird hinsichtlich der Staatssteuer abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Steueramt des Kantons Solothurn, dem Kantonalen Steuergericht Solothurn sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 24. Januar 2012
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Wyssmann