Sachverhalt:
A. Die Eidgenössische Steuerverwaltung (im Folgenden: ESTV) teilte dem kantonalen Steueramt Zürich am 29. Januar 2009 mit, sie habe aufgrund einer Kontrolle festgestellt, dass X._ Verrechnungssteuern im Betrag von Fr. 39'624.55 (Fälligkeitsjahr 2000), Fr. 10'783.35 (2001), Fr. 19'464.55 (2002), Fr. 19'984.65 (2003) und Fr. 18'294.30 (2004) zu Unrecht zurückerstattet worden seien. Zur Begründung wurde ausgeführt, X._ sei aufgrund seines fehlenden Rechts zur Nutzung die Rückerstattung der genannten Verrechnungssteuern zu verweigern, wobei dies im Einzelnen näher dargelegt wurde. In der Folge ordnete die ESTV für die nach ihrer Auffassung zu Unrecht zurückerstatteten Beträge eine vorsorgliche Kürzung desjenigen Betrags an, welchen der Kanton Zürich mit einer der nächsten Rechnungen vom Bund beanspruchen könne.
Mit Verfügungen vom 1. April 2009 für die Fälligkeitsjahre 2000 bis 2004 forderte das kantonale Steueramt Zürich X._ auf, die genannten Jahresbeträge innert 30 Tagen zurückzuerstatten. Die von X._ dagegen erhobene Beschwerde wies die Steuerrekurskommission des Kantons Zürich mit Entscheid vom 1. September 2009 ab.
B. X._ beantragt dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 22. Oktober 2009, der vorinstanzliche Entscheid sei aufzuheben und es sei im Sinne von Art. 58 Abs. 3 (des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer [VStG; SR 642.21]) festzustellen, dass keine Rückleistungspflicht bestehe.
Das kantonale Steueramt beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Steuerrekurskommission hat auf Vernehmlassung verzichtet. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Gegen Entscheide letzter kantonaler Instanzen auf dem Gebiet der Verrechnungssteuer ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (Art. 82 lit. a in Verbindung mit Art. 83 sowie <ref-law>). Die Steuerrekurskommission des Kantons Zürich ist gemäss <ref-law> i.V.m. §§ 4 und 15 Abs. 2 der kantonalen Verordnung vom 17. Dezember 1997 über die Rückerstattung der Verrechnungssteuer letzte kantonale Instanz im Sinne von <ref-law> (vgl. Urteil 2C_221/2009 vom 21. Januar 2010 E. 1.2). Der Beschwerdeführer ist gestützt auf <ref-law> zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf die frist- und formgerecht eingereichte Beschwerde (Art. 100 Abs. 1 und Art. 42 BGG) ist daher einzutreten.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem geltend gemacht werden, der angefochtene Entscheid verletze Bundesrecht - inklusive Bundesverfassungsrecht -, Völkerrecht sowie kantonale verfassungsmässige Rechte (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Es wendet das Recht von Amtes wegen an (<ref-law>).
2. Umstritten ist im vorliegenden Verfahren, ob das kantonale Steueramt Zürich vom Beschwerdeführer zu Recht die Rückerstattung von Verrechnungssteuern im Betrage von total Fr. 108'151.40, betreffend die Fälligkeitsjahre 2000 bis 2004, verlangt hat.
2.1 Der Bund erhebt gestützt auf <ref-law> eine Verrechnungssteuer u.a. auf dem Ertrag von beweglichem Kapitalvermögen (vgl. <ref-law>). Die Verrechnungssteuer wird dem Empfänger der um die Steuer gekürzten Leistung nach Massgabe des Gesetzes vom Bund zurückerstattet (Art. 1 Abs. 2 in Verbindung mit <ref-law>). Eine natürliche Person hat Anspruch auf Rückerstattung der Verrechnungssteuer, wenn sie bei Fälligkeit der steuerbaren Leistung ihren Wohnsitz im Inland hatte (<ref-law>), die mit der Verrechnungssteuer belasteten Einkünfte ordnungsgemäss deklariert hat (vgl. <ref-law> e contrario) und bei Fälligkeit der steuerbaren Leistung das Recht zur Nutzung des den steuerbaren Ertrag abwerfenden Vermögenswertes besass (<ref-law>). Die Rückerstattung der Verrechnungssteuer ist in allen Fällen unzulässig, in denen sie zu einer Steuerumgehung führen würde (<ref-law>).
Gemäss <ref-law> stellen die Kantone dem Bund Rechnung über die von ihnen zurückerstatteten Verrechnungssteuern (Abs. 1). Die ESTV überprüft die Abrechnung der Kantone (Abs. 2, 1. Satzteil). Ergibt die Überprüfung, dass die vom Verrechnungssteueramt gewährte Rückerstattung zu Unrecht erfolgt ist, so ordnet die ESTV vorsorglich eine entsprechende Kürzung des Betrags an, den der Kanton mit einer der nächsten Abrechnungen beansprucht (Abs. 3). Ist gemäss <ref-law> vorsorglich eine Kürzung angeordnet worden, so kann das kantonale Verrechnungssteueramt von demjenigen, der in den Genuss der beanstandeten Rückerstattung gelangt ist, deren Rückleistung verlangen; der Rückleistungsanspruch erlischt, wenn er nicht innert sechs Monaten seit Eröffnung der vorsorglichen Kürzung durch Entscheid geltend gemacht wird (<ref-law>).
2.2 Die Vorinstanz hat im angefochtenen Entscheid festgestellt, die ESTV habe dem Beschwerdeführer das Nutzungsrecht im Sinne von <ref-law> mit Bezug auf die im Eigentum seiner Schwester stehende 50%-Beteiligung an der Y._ AG zu Recht abgesprochen. Der Beschwerdeführer legt in keiner Weise dar, inwiefern das angefochtene Urteil in diesem Punkt Recht verletzt (vgl. <ref-law>), sondern führt einzig aus, es sei für ihn unerheblich, auf welche Art und Weise die ESTV ihre vorsorgliche Kürzung des kantonalen Verrechnungssteueranspruchs gegenüber dem kantonalen Verrechnungssteueramt begründe. Hingegen macht er eine Verletzung des Grundsatzes von Treu und Glauben geltend, da eine völlig widersprüchliche Verhaltensweise im originären Veranlagungsverfahren und im heutigen Rückleistungsverfahren vorliege. Er bringt in diesem Zusammenhang im Wesentlichen vor, das kantonale Verrechnungssteueramt könne zwar bei Vorliegen einer vorsorglichen Kürzung des kantonalen Verrechnungssteueranspruches durch die ESTV eine Rückleistung verlangen. Dies sei aber nicht gerechtfertigt, wenn - wie vorliegend - die Überprüfung durch die ESTV keine neuen Tatsachen ans Licht geführt habe. Eine allfällige Beanstandung der vom kantonalen Verrechnungssteueramt vorgenommenen Würdigung durch die ESTV habe ihn nicht zu treffen, da er die Verantwortung für die richtige verrechnungssteuerliche Würdigung nicht trage.
2.3 Der Beschwerdeführer verkennt mit seinen Vorbringen den Verfahrensablauf und den Mechanismus im Rahmen der Erhebung und insbesondere der Rückerstattung der Verrechnungssteuer, sowie die Rollen der dabei involvierten Behörden. Nach <ref-law> prüft das kantonale Verrechnungssteueramt die bei ihm eingereichten (Rückerstattungs-)Anträge, untersucht den Sachverhalt und trifft alle Massnahmen, welche die richtige Ermittlung des Rückerstattungsanspruchs nötig macht (Abs. 1). Es trifft gemäss Abs. 2 dieser Bestimmung nach Abschluss seiner Untersuchung einen Entscheid über den Rückerstattungsanspruch, welcher mit der Veranlagungsverfügung verbunden werden kann. Gemäss expliziter Regelung in <ref-law> steht jedoch die vom Verrechnungssteueramt bewilligte Rückerstattung unter dem Vorbehalt einer Überprüfung des Anspruchs durch die ESTV. Es ist Aufgabe der Eidgenössischen Steuerverwaltung, die Überprüfung der Abrechnungen der Kantone vorzunehmen. Dass diese Überprüfungsbefugnis eine umfassende ist, ergibt sich ohne Weiteres aus dem Wortlaut von <ref-law>, kann die ESTV doch (u.a.) von den Untersuchungsbefugnissen eines Verrechnungssteueramtes selber Gebrauch machen. Die Überprüfung kann demnach auch die rechtliche Würdigung umfassen. Liegt eine Kürzungsverfügung der Eidgenössischen Steuerverwaltung vor, so hat der Kanton gemäss <ref-law> das Recht, in einem zusätzlichen Verfahren die Rückleistung zu verlangen. Einzige objektive Voraussetzung für die Durchführung eines Verfahrens ist die entsprechende Kürzungsverfügung. Es liegt am Kanton selbst, wie weit er beispielsweise in Bagatellfällen eine verfügte Rückerstattung auf Grund der vorsorglichen Kürzung durch die ESTV nachträglich korrigieren will (BRUNO KNÜSEL, in: Kommentar zum Schweizerischen Steuerrecht, Band II/2, Basel 2005, N 1 zu <ref-law>). Gemäss § 19 Abs. 1 der kantonalen Verordnung fordert das kantonale Steueramt bei einer vorsorglichen Kürzung des Rückerstattungsanspruchs durch die ESTV innert sechs Monaten seit der vorläufigen Kürzung die zu Unrecht zurückerstattete Verrechnungssteuer vom seinerzeitigen Antragssteller zurück. Daraus ergibt sich gemäss Vernehmlassung des kantonalen Steueramtes, dass das Rückleistungsverfahren in jedem Fall durchgeführt wird und dem kantonalen Steueramt diesbezüglich kein Ermessen zusteht. Es ist nicht ersichtlich, inwiefern diese klare kantonale Regelung schweizerisches Recht im Sinne von <ref-law> verletzen könnte. Insbesondere stösst der Vorwurf des Beschwerdeführers ins Leere, der reinen Willkür würde Tür und Tor geöffnet, wenn zugelassen würde, schrankenlos und nach freiem Belieben auf die frühere Würdigung im originären Verfahren zurückzukommen. Er übersieht dabei, dass einerseits Voraussetzung für das Rückleistungsverfahren eine entsprechende Kürzungsverfügung der Eidgenössischen Steuerverwaltung ist und dass der belastete Steuerpflichtige andererseits die Möglichkeit hat, sich im Rechtsmittelverfahren gegen eine Rückleistungsverfügung zur Wehr zu setzen (vgl. KNÜSEL, a.a.O. N 3 f. zu <ref-law>). Mit Blick darauf geht auch die Berufung des Beschwerdeführers auf Treu und Glauben fehl.
3. Die Beschwerde erweist sich somit als unbegründet und ist abzuweisen.
Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Kantonalen Steueramt Zürich, der Steuerrekurskommission II des Kantons Zürich und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 4. Mai 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Klopfenstein