Sachverhalt:
A. Mit Vertrag vom 30. Juni 1997 kaufte die Y._ AG von X._ 877 eigene Aktien zum Preis von Fr. 4'250'000.--. Sie überschritt damit die gemäss Art. 659 Abs. 1 OR zulässige Limite von 10% des Aktienbestandes um 6,87% bzw. um 357 Aktien. Dies ergab beim Preis einer Aktie von Fr. 4'846.-- und nach Abzug des Nominalwertes der 357 Aktien von je Fr. 100.-- (total Fr. 35'700.--) einen Teilliquidationsüberschuss von Fr. 1'694'322.--.
Am 17. Oktober 2000 nahm die Y._ AG eine Kapitalherabsetzung vor, wobei sie 800 Aktien aus dem Eigenbestand vernichtete. Darin wurde für die restlichen 443 Aktien eine Teilliquidation erblickt. Beim Preis von Fr. 3'200.-- pro Aktie und nach Abzug des Nominalwertes der 443 Aktien (total Fr. 44'300.--) ergab dies einen Teilliquidationsüberschuss von Fr. 1'373'300.--.
Auf diesen Teilliquidationsüberschüssen erhob die Eidgenössische Steuerverwaltung mit Schreiben vom 15. Dezember 2000 von der Y._ AG Verrechnungssteuern. Weil eine Rückerstattung der Verrechnungssteuer durch den Empfänger der Teilliquidationsüberschüsse mangels Deklaration dieser Leistungen nicht möglich sei, rechnete die Eidgenössische Steuerverwaltung diese "ins Hundert" auf und kam für die Leistung 1998 auf einen Liquidationsüberschuss von Fr. 2'606'600.-- und für die Leistung 2000 auf einen solchen von Fr. 2'112'700.--. Davon ermittelte sie die Verrechnungssteuer von 35%, ausmachend pro 1998 Fr. 912'310.-- bzw. pro 2000 Fr. 739'445.--. Nach dem Zahlungseingang erstattete sie am 8. Mai 2001 eine entsprechende Meldung an die Veranlagungsbehörde Olten-Gösgen.
B. Aufgrund dieser Meldung eröffnete die Steuerverwaltung des Kantons Solothurn ein Nachsteuer- und Hinterziehungsverfahren betreffend das Steuerjahr 1999 (Staats- und Gemeindesteuer) bzw. die Veranlagungsperiode 1999/2000 (direkte Bundessteuer) bezüglich des Liquidationsüberschusses des Jahres 1998. Am 4. September 2002 eröffnete sie ihre Verfügungen und stellte gestützt darauf Staatssteuern (Nachsteuer, Verzugszins und Busse) im Betrag von Fr. 518'475.65 und entsprechende Bundessteuern von Fr. 492'370.75 in Rechnung. Über die hiergegen gerichtete Einsprache wurde erst am 10. Februar 2009 entschieden; der dagegen erhobene Rekurs bzw. die Beschwerde wurden am 21. September 2009 vom Kantonalen Steuergericht Solothurn abgewiesen, soweit darauf eingetreten wurde. Gegen dieses Urteil erhob X._ am 29. Dezember 2009 Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiäre Verfassungsbeschwerde beim Bundesgericht. Das Verfahren ist zur Zeit noch hängig.
Der Liquidationsüberschuss des Jahres 2000 wurde im ordentlichen Verfahren mit Verfügung vom 22. November 2001 steuerlich erfasst. Auf Stufe Kanton und Gemeinde wurde eine Übergangsjahressteuer von Fr. 598'316.65 und auf Stufe Bund eine solche von Fr. 242'960.50 berechnet. Eine Einsprache hiergegen wies die Veranlagungsbehörde Olten-Gösgen am 16. Juni 2005 ab, und ein Rekurs bzw. eine Beschwerde hatte vor dem Kantonalen Steuergericht am 7. Mai 2007 ebenso wenig Erfolg. Dabei lehnte es gleichzeitig den Antrag auf Rückerstattung der Verrechnungssteuer ab. Eine Beschwerde in öffentlich-rechtlichen Angelegenheiten wies das Bundesgericht am 4. März 2008 ab (Urteil 2C_387/2007).
C. Mit Schreiben vom 23. April 2008 reichte X._ beim Steueramt des Kantons Solothurn (erneut) einen vom 8. April 2008 datierten Antrag auf Rückerstattung der Verrechnungssteuer 1998 und 2000 im Gesamtbetrag von Fr. 2'241'208.-- ein. Mit Entscheiden vom 20. Mai 2008 wies dieses die Anträge ab (1998) bzw. trat darauf nicht ein (2000). Die dagegen erhobenen Einsprachen wurden am 9. Juli 2008 abgewiesen. Die von X._ gegen die Einspracheentscheide gerichteten Beschwerden wies das Kantonale Steuergericht Solothurn am 19. Januar 2009 ab.
D. Gegen den Entscheid des Kantonalen Steuergerichts Solothurn vom 19. Januar 2009 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten und subsidiäre Verfassungsbeschwerde mit zahlreichen Anträgen.
Das Steueramt des Kantons Solothurn, das Kantonale Steuergericht Solothurn sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden kann.
E. Mit Verfügung vom 17. Juni 2009 wies der Präsident der Il. öffentlich-rechtlichen Abteilung des Bundesgerichts das Sistierungsgesuch ab.
F. Über die Beschwerde wurde an der öffentlichen Beratung vom 12. März 2010 befunden.

Erwägungen:
1. 1.1 Angefochten ist ein Entscheid des Kantonalen Steuergerichts Solothurn betreffend die Rückerstattung der Verrechnungssteuer, somit in einer Angelegenheit des öffentlichen Rechts. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss Art. 82 lit. a BGG in Verbindung mit Art. 56 des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) zulässig, zumal keine Ausschlussgründe gemäss Art. 83 BGG vorliegen. Damit kann auf die gleichzeitig erhobene subsidiäre Verfassungsbeschwerde nicht eingetreten werden (Art. 113 BGG). Der Beschwerdeführer ist gestützt auf Art. 89 Abs. 1 BGG zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert. Auf die frist- und formgerecht eingereichte Beschwerde ist grundsätzlich einzutreten (Art. 100 BGG).
1.2 Mit der Beschwerde kann eine Rechtsverletzung nach Art. 95 und 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde vorgetragenen Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen, und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (Art. 105 Abs. 1 BGG).
1.3 Gemäss Art. 42 Abs. 1 BGG hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird (Urteil 2C_416/2007 vom 29. August 2007 E. 3.2, mit Hinweisen). Das Bundesgericht prüft die Verletzung von Grundrechten nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG). Die Rüge einer Verletzung des rechtlichen Gehörs wird nur im Zusammenhang mit hier nicht relevanten Streitpunkten (vgl. 1.4) erhoben, weshalb darauf nicht einzutreten ist.
1.4 Die Beschwerde ist zudem nur im Rahmen des Streitgegenstandes zulässig. Dieser wird durch den Gegenstand des angefochtenen Entscheids und durch die Parteibegehren bestimmt, wobei der angefochtene Entscheid den möglichen Streitgegenstand begrenzt (<ref-ruling> E. 3.3 S. 189; vgl. auch Urteil 2C_220/2009 vom 10. August 2009 E. 3). Hier geht es nur um die Rückerstattung von Verrechnungssteuern, weshalb deren seinerzeitige Erhebung nicht zur Diskussion gestellt werden kann. Ebenso wenig bildet die Frage, wer Eigentümer der zurückgekauften Aktien war und wem daher die Teilliquidationsüberschüsse einkommenssteuerrechtlich zuzurechnen sind, hier erneut (vgl. Urteil 2C_387/2007 vom 4. März 2008) Streitgegenstand. Soweit es um den 1998 fällig gewordenen Teilliquidationsüberschuss geht, ist das entsprechende Verfahren im Übrigen noch vor Bundesgericht hängig. Schliesslich bildet nicht Streitgegenstand, wie ein allfälliger Rückerstattungsanspruch zu befriedigen ist (Rückerstattung in bar oder Verrechnung mit Steuerforderungen). Soweit eine unrichtige Sachverhaltsfeststellung gerügt wird, betrifft dies Sachverhaltselemente des hier nicht relevanten Streitgegenstandes.
1.5 Auf die Beschwerde kann sodann insoweit nicht eingetreten werden, als sie sich auch gegen den Einspracheentscheid richtet, wird doch dieser durch das angefochtene Urteil ersetzt (Devolutiveffekt); immerhin gilt er als inhaltlich mitangefochten (vgl. <ref-ruling> E. 1; <ref-ruling> E. 1c, mit Hinweisen). Auch auf die Feststellungsbegehren ist nicht einzutreten; sollte eine Rückerstattungsanspruch bejaht werden, wäre hierüber ein Leistungsentscheid zu fällen, weshalb kein schutzwürdiges Interesse an den verlangten Feststellungen besteht (vgl. statt vieler <ref-ruling> E. 2c).
2. 2.1 Der Bund erhebt gestützt auf Art. 132 Abs. 2 BV eine Verrechnungssteuer u.a. auf dem Ertrag beweglichen Kapitalvermögens (Art. 1 Abs. 1 VStG). Nach Art. 4a Abs. 1 in der ab 1. Januar 1998 gültigen Fassung des VStG unterliegt die Differenz zwischen dem Erwerbspreis und dem einbezahlten Nennwert dieser Beteiligungsrechte der Verrechnungssteuer, wenn eine Gesellschaft oder Genossenschaft gestützt auf einen Beschluss über die Herabsetzung des Kapitals oder im Hinblick auf eine Herabsetzung ihres Kapitals eigene Beteiligungsrechte (u.a. Aktien) erwirbt (Urteil 2C_268/2009 vom 8. Oktober 2009 E. 2). Steuerpflichtig ist der Schuldner der steuerbaren Leistung (Art. 10 Abs. 1 VStG). Diese ist bei der Auszahlung, Überweisung, Gutschrift oder Verrechnung ohne Rücksicht auf die Person des Gläubigers um den Steuerbetrag zu kürzen (Art. 14 Abs. 1 VStG).
2.2 Die Verrechnungssteuer wird dem Empfänger der um die Steuer gekürzten Leistung nach Massgabe des Gesetzes vom Kanton zu Lasten des Bundes zurückerstattet (Art. 1 Abs. 2 in Verbindung mit Art. 30 Abs. 1 VStG). Die Verrechnungssteuer verfolgt im inländischen Verhältnis nur einen Sicherungszweck (Urteil 2A.660/2006 vom 8. Juni 2007 E. 3.2; Urteil 2A.628/2005 vom 19. April 2006 E. 2.1); sie wird dem steuerehrlichen Inländer zurückerstattet (MAJA BAUER-BALMELLI, Der Sicherungszweck der Verrechnungssteuer, Diss. Zürich 2001, S. 3; BERNHARD ZWAHLEN, Kommentar zum Schweizerischen Steuerrecht II/2, Bundesgesetz über die Verrechnungssteuer, N. 1 zu Art. 22 VStG). Anspruch auf Rückerstattung der Verrechnungssteuer hat eine natürliche Person, wenn sie
bei Fälligkeit der steuerbaren Leistung das Recht zur Nutzung des den steuerbaren Ertrag abwerfenden Vermögenswertes besass (Art. 21 Abs. 1 lit. a VstG);
bei Fälligkeit der steuerbaren Leistung im Inland Wohnsitz hatte (Art. 22 Abs. 1 VstG);
die mit der Verrechnungssteuer belasteten Einkünfte in ihrer Steuererklärung ordnungsgemäss und fristgerecht als Einkommen deklariert hat (Art. 23 VStG).
2.3 Der Anspruch auf Rückerstattung erlischt, wenn der Antrag nicht innert drei Jahren nach Ablauf des Kalenderjahres, in dem die steuerbare Leistung fällig geworden ist, gestellt wird (Art. 32 Abs. 1 VStG). Wird die Verrechnungssteuer erst auf Grund einer Beanstandung der Eidgenössischen Steuerverwaltung entrichtet und überwälzt, und ist die Frist gemäss Absatz 1 bereits abgelaufen oder verbleiben von der Entrichtung der Steuer bis zu ihrem Ablauf nicht mindestens 60 Tage, so beginnt mit der Entrichtung der Steuer eine neue Frist von 60 Tagen zu laufen (Art. 32 Abs. 2 VStG). Selbst eine an sich verwirkte Frist kann sodann wiederhergestellt werden, wenn der Rückerstattungsberechtigte unverschuldet davon abgehalten wurde, innert Frist zu handeln. Das begründete Wiederherstellungsgesuch ist binnen zehn Tagen nach Wegfall des Hinderungsgrundes bei der zuständigen Behörde einzureichen und gleichzeitig ist die versäumte Handlung (förmlicher Rückerstattungsantrag) vorzunehmen (MICHAEL BEUSCH, Kommentar zum Schweizerischen Steuerrecht II/2, Bundesgesetz über die Verrechnungssteuer, 2005, N. 10 ff. zu Art. 32 VstG).
2.4 In Bezug auf den Rückerstattungsanspruch für das Jahr 2000 hat das Kantonale Steuergericht Solothurn mit Urteil vom 7. Mai 2007 entschieden, dass die Antragsfrist am 31. Dezember 2003 abgelaufen und der erstmals am 23. Juli 2005 geltend gemachte Anspruch daher verwirkt sei. Der Rückerstattungsantrag wurde deshalb abgewiesen.
Das Kantonale Steueramt ist gestützt auf dieses rechtskräftige Urteil und die Feststellung, dass der Beschwerdeführer auch nicht innert 60 Tagen nach Entrichtung der Steuer einen Anspruch geltend gemacht hat, auf den Antrag auf Rückerstattung der Verrechnungssteuer 2000 nicht eingetreten. Dies nach Auffassung der Vorinstanz zu Recht, weshalb sie die Beschwerde in diesem Punkt als unbegründet abgewiesen hat (angefochtenes Urteil E. 3).
Mit dieser Begründung des angefochtenen Entscheides setzt sich der Beschwerdeführer in keiner den Begründungsanforderungen (Art. 42 BGG) genügenden Weise auseinander. Insbesondere legt er nicht dar, inwiefern die Vorinstanz mit der Bestätigung des Nichteintretens der Steuerverwaltung Bundesrecht verletzt haben soll, weshalb insoweit auf die Beschwerde nicht eingetreten werden kann.
2.5 Beim Antrag auf Rückerstattung der Verrechnungssteuer 1998 geht es um eine geldwerte Leistung, welche im Rahmen eines Nachsteuer- und Hinterziehungsverfahrens erfasst werden soll, weil der Beschwerdeführer mangels Einreichung der Steuererklärung nach Ermessen eingeschätzt werden musste. Damit fehlt es offensichtlich an der ordnungsgemässen Deklaration im Sinne von Art. 23 VStG. Die Verrechnungssteuer 1998 ist mithin nicht rückerstattbar (vgl. auch ZWAHLEN, a.a.O., N 2 zu Art. 23 VStG; Kreisschreiben Nr. 8 und 14 der Eidgenössischen Steuerverwaltung vom 8. Dezember 1978 bzw. 29. Dezember 1988 betreffend Verwirkung des Anspruchs auf Rückerstattung der Verrechnungssteuer bei Ermessensveranlagung, zitiert bei CONRAD STOCKAR, Übersicht und Fallbeispiel zu den Stempelabgaben und zur Verrechnungssteuer, 3. Aufl., 2000, Anhang). In dieser Hinsicht ist die Beschwerde abzuweisen.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist aus diesen Gründen abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 10'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten, dem Kantonalen Steuergericht Solothurn und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 12. März 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Küng