Sachverhalt:
A. Die A._ AG richtete Y._ und X._ per 15. Dezember 2002 eine Dividende von Fr. 200'000.--, abzüglich Verrechnungssteuer von Fr. 70'000.-- aus. Mit Sacheinlagevertrag vom 13. Dezember 2002 überführte X._ sämtliche Aktien der A._ AG in die ebenfalls zu 100 % von ihm gehaltene B._ AG. In der Steuererklärung 2002 haben die Steuerpflichtigen nur noch die Aktien der B._ AG im Verrechnungssteuerantrag deklariert; die Dividende von Fr. 200'000.-- bzw. das Verrechnungssteuerguthaben von Fr. 70'000.-- wurde nicht aufgeführt.
Mit Verfügung vom 22. März 2007 wurden die Steuerpflichtigen von der Steuerkommission Schlossrued für die Kantons- und Gemeindesteuern 2002 mit einem steuerbaren Einkommen von Fr. 810'900.-- und einem steuerbaren Vermögen von Fr. 5'769'000.-- veranlagt. Beim Wertschriftenertrag wurde u.a. die Dividende von Fr. 200'000.-- berücksichtigt.
Dagegen erhobenen die Steuerpflichtigen am 20. April 2007 Einsprache, mit welcher sie um Anrechnung bzw. Auszahlung der Verrechnungssteuer von Fr. 70'000.-- ersuchten. Das kantonale Steueramt teilte darauf hin mit, der Rückerstattungsanspruch 2002 sei mit Entscheid vom 14. Juli 2004 auf Fr. 2'381.75 (ausgehend von einem Bruttoertrag von Fr. 6'804.95, entsprechend dem Antrag der Steuerpflichtigen zuzüglich einer Aufrechnung von Fr. 1'330.--) festgesetzt worden; dieser Entscheid sei nicht angefochten worden und in Rechtskraft erwachsen.
Am 1. Oktober 2007 ersuchten die Steuerpflichtigen das kantonale Steueramt um Zustellung eines neuen Entscheides; der Entscheid vom 14. Juli 2004 sei ihnen nicht bekannt.
Mit Entscheid vom 22. Oktober 2007 setzte das kantonale Steueramt den Rückerstattungsanspruch wiederum auf Fr. 2'381.75 fest. Dies unter Hinweis darauf, dass der Antrag auf Rückerstattung erst mit Einsprache vom 20. April 2007 gestellt worden sei; zu diesem Zeitpunkt sei die Frist gemäss Art. 32 Abs. 1 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) abgelaufen gewesen. Dagegen erhoben die Steuerpflichtigen erfolglos Einsprache. Ihre gegen den Einspracheentscheid gerichtete Beschwerde wurde vom kantonalen Steuerrekursgericht am 16. Dezember 2010 abgewiesen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen X._ und Y._ dem Bundesgericht, ihnen die am 27. Dezember 2002 entrichtete Verrechnungssteuer von Fr. 70'000.-- zurückzuerstatten.
Das kantonale Steuerrekursgericht hat auf eine Vernehmlassung verzichtet.
Das Kantonale Steueramt und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde.

Erwägungen:
1. Der angefochtene Entscheid des Steuerrekursgerichts des Kantons Aargau kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht angefochten werden (vgl. dazu Urteil 2C_221/ 2009 vom 21. Januar 2010 E. 1.2; Art. 56 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer [VStG; SR 642.21]).
2. 2.1 Die A._ AG hat von der am 15. Dezember 2002 fällig gewordenen Dividende von Fr. 200'000.-- am 27. Dezember 2002 eine Verrechnungssteuer von Fr. 70'000.-- entrichtet. Im Wertschriftenverzeichnis bzw. Rückerstattungsantrag der im Januar 2004 eingereichten Steuererklärung 2002 haben die Beschwerdeführer diese Dividendenzahlung unbestrittenermassen nicht deklariert.
2.2 Wer die Rückerstattung der Verrechnungssteuer beantragt, hat sie bei der zuständigen Behörde schriftlich zu beantragen (<ref-law>). Der Anspruch auf Rückerstattung erlischt, wenn der Antrag nicht innert drei Jahren nach Ablauf des Kalenderjahres, in dem die steuerbare Leistung fällig geworden ist, gestellt wird (<ref-law>). Die Vorinstanz ist daher unbestrittenermassen zu Recht davon ausgegangen, dass der Rückerstattungsantrag bis zum 31. Dezember 2005 gestellt werden musste.
2.3 Am 23. März 2004 forderte die kantonale Steuerverwaltung auf Grund einer Meldung der Eidgenössischen Steuerverwaltung die Beschwerdeführer auf, ihr u.a. den Verkaufvertrag der Aktien A._ AG sowie allfällige Dividendengutschriften zukommen zu lassen. Mit E-Mail vom 31. März 2004 teilten die Beschwerdeführer mit, Dividenden seien für das Jahr 2002 keine ausgerichtet worden. Am 2. April 2004 teilten sie wiederum per E-Mail (die nach Angaben der Steuerverwaltung bei ihr nicht eingetroffen ist) mit, es sei eine Bruttodividende von Fr. 200'000.-- ausgerichtet worden; der Fehler werde dem Steueramt Schlossrued ebenfalls gemeldet (diese Meldung unterblieb indessen).
Mit Verfügung vom 14. Juli 2004 entschied die kantonale Steuerverwaltung über den Rückerstattungsanspruch 2002, wobei mangels eines entsprechenden Antrages die Verrechnungssteuer von Fr. 70'000.-- unberücksichtigt blieb. Die Auszahlung des Guthabens erfolgte am 15. Juli 2004 (angefochtenes Urteil E. 4.4.1).
Am 20. April 2007 erhoben die Beschwerdeführer Einsprache gegen die definitive Steuerveranlagung 2002; darin stellten sie das Begehren, es sei ihnen Fr. 70'000.-- Verrechnungssteuerguthaben gutzuschreiben und die Veranlagung entsprechend zu korrigieren.
2.4 Eine E-Mail erfüllt das gesetzliche Erfordernis der Schriftlichkeit nicht (Urteil 1P.254/2005 vom 30. August 2005 E. 2.3). Die E-Mail der Beschwerdeführer vom 2. April 2004 könnte daher, selbst wenn sie bei der Steuerbehörde eingetroffen wäre, nicht als rechtsgültiger Rückerstattungsantrag betrachtet werden. Als solcher gilt erst die schriftliche Einsprache vom 20. April 2007. Da der Antrag somit verspätet eingereicht wurde, hat die Steuerverwaltung die Rückerstattung grundsätzlich zu Recht verweigert.
3. 3.1 Die Beschwerdeführer machen geltend, aufgrund von Verfahrensmängeln sei ihnen die Fristwiederherstellung zu gewähren. Denn das Steueramt hätte seine Aufforderung vom 23. April 2004 zur Einreichung von Angaben und Belegen betreffend Verkaufsvertrag und Dividendengutschriften gemäss § 65 Abs. 4 der kantonalen Verordnung vom 11. September 2000 (StGV/AG) als Mahnung unter Hinweis auf die Unterlassungsfolgen mit eingeschriebener Post zustellen müssen. Die Vorinstanz habe diese Bestimmung zu Unrecht als nicht anwendbar erachtet.
3.2 Die Beschwerdeführer legen nicht dar, inwiefern der angefochtene Entscheid in dieser Hinsicht Bundesrecht verletzen soll (Art. 42 Abs. 2 und Art. 95 BGG). Die Verletzung von einfachem kantonalen Recht ist kein Beschwerdegrund, weshalb insoweit auf die Beschwerde nicht einzutreten ist. Die Rüge wäre auch offensichtlich unbegründet, geht es doch bei <ref-law> um eine Verwirkungsfrist, die keine vorgängige Mahnung erfordert.
4. 4.1 Die Beschwerdeführer rügen weiter die "unterlassene oder verspätete Eröffnung" des Verrechnungssteuerentscheides vom 14. Juli 2004 bzw. 22. Oktober 2007. Diese verletze das Vertrauensprinzip, den Anspruch auf rechtliches Gehör (<ref-law>) und sei willkürlich (<ref-law>).
4.2 Da die Steuerbehörde nach ihrer Aufforderung vom 23. März 2004 sowie einem entsprechenden Mahnschreiben vom 5. Mai 2004 (angefochtenes Urteil E. 4.2.1.4) die verlangten Angaben betreffend die Dividende nicht erhalten hat, hat sie diese als mutmasslichen Ertrag in der Rubrik B des Wertschriftenverzeichnisses und Rückerstattungsantrages (Werte ohne Verrechnungssteuerabzug) aufgerechnet.
Da in Bezug auf die Dividende seitens der Beschwerdeführer kein Rückerstattungsantrag gestellt worden war, durfte die kantonale Veranlagungsbehörde bei der Überprüfung des Wertschriftenverzeichnisses und Rückerstattungsantrages der Steuererklärung 2002 mangels gegenteiliger Anhaltspunkte nach Treu und Glauben davon ausgehen, dass diese ohne Abzug der Verrechnungssteuer ausbezahlt worden sei. Denn die Verrechnungssteuer von Fr. 70'000.-- war von der A._ AG am 27. Dezember 2002 direkt an die Eidgenössische Steuerverwaltung in Bern überwiesen worden. Eine Verletzung des Vertrauensprinzips oder des Willkürverbotes ist weder dargelegt noch ersichtlich.
4.3 Nachdem die Steuerbehörde die Beschwerdeführer zunächst um Einreichung weiterer Angaben ersucht und später eine entsprechende Mahnung zugestellt hat, durfte die Vorinstanz ohne Verletzung von Bundesrecht davon ausgehen, dass der Anspruch der Beschwerdeführer auf Gewährung des rechtlichen Gehörs nicht verletzt worden sei (angefochtenes Urteil E. 4.2.2.2). Da kein entsprechender Rückerstattungsantrag vorlag, bestand auch kein Anlass für die Steuerbehörde zu weiteren Abklärungen.
4.4 Im Übrigen ist darauf hinzuweisen, dass den Steuerpflichtigen das Verrechnungssteuerguthaben (im Wesentlichen gemäss ihrem Rückerstattungsantrag mit einer geringfügigen Aufrechnung) unbestrittenermassen am 15. Juli 2004 ausbezahlt worden ist. Damit war für die Beschwerdeführer - selbst wenn ihnen der Entscheid vom 14. Juli 2004 nicht zugestellt worden sein sollte - offenkundig, dass keine Verrechnungssteuerrückerstattung im Betrag von Fr. 70'000.-- gewährt worden war. Sie hätten unter diesen Umständen nach Treu und Glauben selber bei der Steuerbehörde vorstellig werden und einen Antrag auf diese Rückerstattung stellen müssen, worauf die Vorinstanz zu Recht hinweist. Es ist unverständlich, weshalb die Beschwerdeführer unter diesen Umständen nicht reagierten und die zu jenem Zeitpunkt noch längst nicht abgelaufene Antragsfrist ungenutzt verstreichen liessen.
5. Soweit die Beschwerdeführer geltend machen, sie seien durch das Verhalten der Steuerbehörde davon abgehalten worden, innert Frist zu handeln, kann auf die zutreffenden Erwägungen der Vorinstanz verwiesen werden (angefochtenes Urteil E. 4.7). Was die Beschwerdeführer vorbringen, lässt keine Bundesrechtsverletzung erkennen.
6. Die Beschwerdeführer beanstanden, die Vorinstanz habe zu Unrecht <ref-law> als nicht anwendbar erklärt. Die Rüge ist unbegründet, denn es ist mit der Vorinstanz (angefochtenes Urteil E. 4.5.2) davon auszugehen, dass diese Bestimmung nur zur Anwendung gelangt, wenn ein konkreter Rückerstattungsantrag gestellt worden ist. Dies ist für die in Frage stehende Verrechnungssteuer im Betrag von Fr. 70'000.-- gerade nicht der Fall. Dasselbe gilt, soweit sich die Beschwerdeführer auf § 9 der kantonalen Verordnung vom 14. November 2001 zum Bundesgesetz über die Verrechnungssteuer berufen.
7. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Entsprechend diesem Ausgang haben die Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 66 Abs. 1 und 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'500.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3. Dieses Urteil wird den Verfahrensbeteiligten, dem Steuerrekursgericht des Kantons Aargau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 10. Juni 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng