Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich H._ in seiner Eigenschaft als Organ einer juristischen Person zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge. Auf die dagegen erhobene Einsprache trat die Verwaltung mit Einspracheentscheid vom 7. Februar 2005 wegen verspäteter Eingabe nicht ein.
A. Mit Verfügung vom 25. März 2004 verpflichtete die Ausgleichskasse des Kantons Zürich H._ in seiner Eigenschaft als Organ einer juristischen Person zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge. Auf die dagegen erhobene Einsprache trat die Verwaltung mit Einspracheentscheid vom 7. Februar 2005 wegen verspäteter Eingabe nicht ein.
B. Dagegen liess H._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich erheben und beantragen, die versäumte Einsprachefrist sei wiederherzustellen. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 8. Juni 2005 ab, da das Fristwiederherstellungsgesuch verspätet eingereicht worden sei.
B. Dagegen liess H._ Beschwerde beim Sozialversicherungsgericht des Kantons Zürich erheben und beantragen, die versäumte Einsprachefrist sei wiederherzustellen. Das kantonale Gericht wies die Beschwerde mit Entscheid vom 8. Juni 2005 ab, da das Fristwiederherstellungsgesuch verspätet eingereicht worden sei.
C. H._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und des Einspracheentscheides sei ihm die versäumte Frist für die Einsprache neu anzusetzen.
Die Ausgleichskasse schliesst sinngemäss auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 OG in Verbindung mit Art. 104 lit. a und b OG sowie Art. 105 Abs. 2 OG).
1. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 OG in Verbindung mit Art. 104 lit. a und b OG sowie Art. 105 Abs. 2 OG).
2. Zutreffend sind die Erwägungen des kantonalen Gerichts über die Wiederherstellung einer Frist im Verwaltungsverfahren (Art. 41 ATSG), insbesondere die dabei vorausgesetzte Frist zur Geltendmachung (zehn Tage seit Wegfall des Hindernisses; Art. 41 Abs. 1 ATSG). Darauf wird verwiesen.
2. Zutreffend sind die Erwägungen des kantonalen Gerichts über die Wiederherstellung einer Frist im Verwaltungsverfahren (Art. 41 ATSG), insbesondere die dabei vorausgesetzte Frist zur Geltendmachung (zehn Tage seit Wegfall des Hindernisses; Art. 41 Abs. 1 ATSG). Darauf wird verwiesen.
3. Letztinstanzlich ist allein streitig, ob die Frist zur Einspracheerhebung wiederherzustellen ist.
3.1 Die Vorinstanz hat den Streitgegenstand auf die Frage der Fristwiederherstellung ausgedehnt, nachdem der Versicherte ein entsprechendes Gesuch erstmals im Rahmen des Beschwerdeverfahrens gestellt hatte. Das kantonale Gericht erachtet jedoch das entsprechende Gesuch als verspätet eingereicht, da die Geltendmachung im Beschwerdeverfahren nicht zu einer Verlängerung der zehntägigen Frist für das Wiederherstellungsgesuch führen könne. Im Übrigen wäre das Gesuch aber auch aus materiellen Gründen abzuweisen.
Der Beschwerdeführer äussert sich nicht zur Frist für das Wiederherstellungsgesuch, begründet dieses aber materiell.
3.2 Nach Art. 41 Abs. 1 ATSG muss das Gesuch um Wiederherstellung der Frist binnen zehn Tagen seit Wegfall des Hindernisses gestellt werden. Der Versicherte macht geltend, er habe sich über den Zeitpunkt des Erhalts der Verfügung vom 25. März 2004 geirrt. Dieser Irrtum wurde spätestens mit der Eröffnung des Einspracheentscheides geklärt, als die Ausgleichskasse wegen verspäteter Eingabe auf die Einsprache nicht eingetreten ist. Das Hindernis im Sinne des Art. 41 Abs. 1 ATSG fiel deshalb an diesem Tag weg. Das kantonale Gericht hat für das Eidgenössische Versicherungsgericht in dieser Hinsicht verbindlich festgestellt (Art. 105 Abs. 2 OG), dass der Einspracheentscheid am 8. Februar 2005 zugestellt und das Fristwiederherstellungsgesuch - in Form der erstinstanzlichen Beschwerde - am 8. März eingereicht worden ist. Damit erweist sich das Gesuch als klar verspätet.
Daran ändert nichts, dass das Gesuch um Fristwiederherstellung mit der erstinstanzlichen Beschwerde gestellt worden ist, welch Letztere rechtzeitig innerhalb der Rechtsmittelfrist erhoben worden ist (weshalb das kantonale Gericht die erstinstanzliche Beschwerde denn auch abgewiesen und nicht auf Nichteintreten erkannt hat). Denn die Frist nach Art. 41 Abs. 1 ATSG kann nicht dadurch umgangen werden, dass die Wiederherstellung der Frist erstmals anlässlich des Beschwerdeverfahrens beantragt wird. So hätte das kantonale Gericht das Gesuch denn auch - im Rahmen der Weiterleitungspflicht (vgl. Art. 30 ATSG) - an die dafür erstinstanzlich zuständige Ausgleichskasse weiterleiten können, anstatt den Streitgegenstand in dieser Hinsicht auszuweiten (wobei Letzteres zu Recht unbestritten ist).
3.3 Da das Gesuch um Fristwiederherstellung verspätet eingereicht worden ist, braucht auf die materiellen Ausführungen nicht weiter eingegangen zu werden. Es ist im Übrigen auch nicht ersichtlich, dass die Voraussetzungen der Fristwiederherstellung erfüllt gewesen wären.
3.3 Da das Gesuch um Fristwiederherstellung verspätet eingereicht worden ist, braucht auf die materiellen Ausführungen nicht weiter eingegangen zu werden. Es ist im Übrigen auch nicht ersichtlich, dass die Voraussetzungen der Fristwiederherstellung erfüllt gewesen wären.
4. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Entsprechend dem Ausgang des Prozesses sind die Kosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 135 OG in Verbindung mit Art. 156 Abs. 1 OG).
Die Ausgleichskasse als obsiegende Behörde hat keinen Anspruch auf Parteientschädigung (Art. 135 OG in Verbindung mit Art. 159 Abs. 2 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten in Höhe von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten in Höhe von Fr. 500.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 29. Dezember 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: