Sachverhalt: Sachverhalt: A. Gemäss Kaufvertrag vom 22. Februar 1989 veräusserte A._ 8'099 Partizipationsscheine der D._ AG à nominal Fr. 100.-- zum Preis von Fr. 6'262'886.60 an die genannte Gesellschaft. Diese zahlte ihm den Kaufpreis ohne Verrechnungssteuerabzug. Anschliessend nahm sie eine Erhöhung des Aktienkapitals vor; dabei setzte sie das Partizipationskapital auf Fr. 0.-- herab und liberierte das neue Aktienkapital mit den nicht mehr durch das Partizipationsscheinkapital gebundenen Mitteln. Nachdem die Eidgenössische Steuerverwaltung der D._ AG bereits Anfang 1991 mitgeteilt hatte, dass sie den Kauf der Partizipationsscheine als verrechnungssteuerpflichtig ansehe, setzte sie die geschuldete Verrechnungssteuer mit Entscheid vom 15. November 1996 fest. Die D._ AG ergriff hiergegen erfolglos Rechtsmittel. Letztinstanzlich wurde ihre Verwaltungsgerichtsbeschwerde durch das Bundesgericht mit Urteil 2A.420/2000 vom 15. November 2001 (publ. in: ASA 71 S. 314) abgewiesen. Nachdem die Eidgenössische Steuerverwaltung der D._ AG bereits Anfang 1991 mitgeteilt hatte, dass sie den Kauf der Partizipationsscheine als verrechnungssteuerpflichtig ansehe, setzte sie die geschuldete Verrechnungssteuer mit Entscheid vom 15. November 1996 fest. Die D._ AG ergriff hiergegen erfolglos Rechtsmittel. Letztinstanzlich wurde ihre Verwaltungsgerichtsbeschwerde durch das Bundesgericht mit Urteil 2A.420/2000 vom 15. November 2001 (publ. in: ASA 71 S. 314) abgewiesen. B. In der Folge entrichtete die D._ AG die Verrechnungssteuer und überwälzte auf A._ den ihn betreffenden Steuerbetrag von Fr. 1'952'300.--. Hierauf stellte A._ einen Antrag auf Rückerstattung der Verrechnungssteuer. Das Kantonale Steueramt Zürich wies diesen ab. Es hielt A._ vor, er habe den aus dem Verkauf der Partizipationsscheine erzielten Ertrag nicht als Einkommen deklariert, weshalb der Rückerstattungsanspruch gemäss Art. 23 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) verwirkt sei. Die dagegen eingereichte Einsprache und die anschliessende Beschwerde wurden am 14. April 2003 durch das Kantonale Steueramt bzw. am 31. März 2004 durch die Steuerrekurskommission II des Kantons Zürich abgewiesen. B. In der Folge entrichtete die D._ AG die Verrechnungssteuer und überwälzte auf A._ den ihn betreffenden Steuerbetrag von Fr. 1'952'300.--. Hierauf stellte A._ einen Antrag auf Rückerstattung der Verrechnungssteuer. Das Kantonale Steueramt Zürich wies diesen ab. Es hielt A._ vor, er habe den aus dem Verkauf der Partizipationsscheine erzielten Ertrag nicht als Einkommen deklariert, weshalb der Rückerstattungsanspruch gemäss Art. 23 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) verwirkt sei. Die dagegen eingereichte Einsprache und die anschliessende Beschwerde wurden am 14. April 2003 durch das Kantonale Steueramt bzw. am 31. März 2004 durch die Steuerrekurskommission II des Kantons Zürich abgewiesen. C. Mit Postaufgabe vom 18. Mai 2004 hat B._ als Willensvollstrecker des 2003 verstorbenen A._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den Antrag, den Entscheid der Steuerrekurskommission aufzuheben und den Rückerstattungsanspruch "gemäss Verrechnungsantrag 1990" vom 20. November 2002 auf Fr. 1'952'300.-- festzusetzen. C. Mit Postaufgabe vom 18. Mai 2004 hat B._ als Willensvollstrecker des 2003 verstorbenen A._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er stellt den Antrag, den Entscheid der Steuerrekurskommission aufzuheben und den Rückerstattungsanspruch "gemäss Verrechnungsantrag 1990" vom 20. November 2002 auf Fr. 1'952'300.-- festzusetzen. D. Das Kantonale Steueramt Zürich beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Steuerrekurskommission II des Kantons Zürich sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.