Sachverhalt:
Sachverhalt:
A. S._, geboren 1959, war seit Januar 1995 als Maurer für das Baugeschäft M._ AG tätig, als er im März 1995 eine Skaphoidfraktur rechts erlitt, was mehrere Operationen zur Folge hatte (unter anderem am 31. März 2000 und am 30. März 2001). Am 28. Mai 1997 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an, worauf die IV-Stelle des Kantons Zürich Abklärungen in medizinischer und erwerblicher Hinsicht vornahm. Mit Verfügung vom 24. März 1998 lehnte die Verwaltung die Ausrichtung einer Invalidenrente sowie Umschulungsmassnahmen ab, da S._ in einer leidensangepassten Tätigkeit ein rentenausschliessendes Einkommen erzielen könne; die Arbeitsvermittlung sei aus invaliditätsfremden Gründen gescheitert. Diese Verfügung wurde nicht angefochten.
Am 30. September 1999 wurde S._ - mittlerweile seit Februar 1998 arbeitslos - von einer Autofahrerin angefahren und an der (vom Unfall 1995 betroffenen) rechten Hand verletzt. Er meldete sich am 13. Juli 2000 erneut bei der Invalidenversicherung zum Leistungsbezug an; die Verwaltung zog die Akten des zuständigen Unfallversicherers bei und holte diverse Arztberichte ein (unter anderem mehrere der Klinik Y._). Mit Verfügung vom 25. Juni 2001 sprach die IV-Stelle S._ vom 1. Oktober bis zum 31. Dezember 1999 eine Viertelsrente und mit Wirkung ab Januar 2000 eine ganze Rente der Invalidenversicherung zu; mit Verfügung vom 9. Juli 2001 wurde die Viertelsrente auf eine halbe Härtefallrente erhöht. Anlässlich einer Rentenrevision ging die Verwaltung von einem Invaliditätsgrad von nur noch 21 % aus und hob - nach durchgeführtem Vorbescheidverfahren - die laufende ganze Rente mit Verfügung vom 17. Mai 2002 per Ende Juni 2002 auf.
Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger Unfallversicherer richtet - neben einer (einmaligen) Integritätsentschädigung für eine Integritätseinbusse von 5 % - seit Februar 1998 eine Invalidenrente für eine Erwerbseinbusse von 25 % aus; zudem erhält S._ seit dem Unfall von September 1999 Taggelder der Unfallversicherung für eine vollständige Arbeitsunfähigkeit.
Die Schweizerische Unfallversicherungsanstalt (SUVA) als zuständiger Unfallversicherer richtet - neben einer (einmaligen) Integritätsentschädigung für eine Integritätseinbusse von 5 % - seit Februar 1998 eine Invalidenrente für eine Erwerbseinbusse von 25 % aus; zudem erhält S._ seit dem Unfall von September 1999 Taggelder der Unfallversicherung für eine vollständige Arbeitsunfähigkeit.
B. Die gegen die rentenaufhebende Verfügung der IV-Stelle von Mai 2002 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Juni 2003 ab, nachdem es die Akten der SUVA und je einen Bericht der Klinik X._ vom 22. Januar/10. Februar 2003 sowie der Klinik Y._ vom 22. April 2003 beigezogen hatte.
B. Die gegen die rentenaufhebende Verfügung der IV-Stelle von Mai 2002 erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. Juni 2003 ab, nachdem es die Akten der SUVA und je einen Bericht der Klinik X._ vom 22. Januar/10. Februar 2003 sowie der Klinik Y._ vom 22. April 2003 beigezogen hatte.
C. Unter Beilage eines Berichts des Hausarztes Dr. med. G._, Innere Medizin FMH, vom 23. August 2003 lässt S._ Verwaltungsgerichtsbeschwerde führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm weiterhin eine ganze Invalidenrente auszurichten, eventualiter sei die Sache zur Vornahme weiterer Abklärungen und zu neuem Entscheid an das kantonale Gericht zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Wie das kantonale Gericht zu Recht festgehalten hat, ist das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 im vorliegenden Fall nicht anwendbar, da nach dem massgebenden Zeitpunkt des Erlasses der streitigen Verfügung (17. Mai 2002) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1, 121 V 366 Erw. 1b). Dasselbe gilt für die Bestimmungen der auf den 1. Januar 2004 in Kraft getretenen 4. IVG-Revision. Zutreffend dargestellt sind im Weiteren die Voraussetzungen für die Rentenrevision (<ref-law>; <ref-law>) und die dabei zu vergleichenden Sachverhalte (vgl. <ref-ruling> Erw. 2 mit Hinweis sowie zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil A. vom 1. Dezember 2003, I 465/03). Darauf wird verwiesen.
1. Wie das kantonale Gericht zu Recht festgehalten hat, ist das am 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 im vorliegenden Fall nicht anwendbar, da nach dem massgebenden Zeitpunkt des Erlasses der streitigen Verfügung (17. Mai 2002) eingetretene Rechts- und Sachverhaltsänderungen vom Sozialversicherungsgericht nicht berücksichtigt werden (<ref-ruling> Erw. 1, 121 V 366 Erw. 1b). Dasselbe gilt für die Bestimmungen der auf den 1. Januar 2004 in Kraft getretenen 4. IVG-Revision. Zutreffend dargestellt sind im Weiteren die Voraussetzungen für die Rentenrevision (<ref-law>; <ref-law>) und die dabei zu vergleichenden Sachverhalte (vgl. <ref-ruling> Erw. 2 mit Hinweis sowie zur Publikation in der Amtlichen Sammlung vorgesehenes Urteil A. vom 1. Dezember 2003, I 465/03). Darauf wird verwiesen.
2. Streitig ist, ob im massgeblichen Zeitraum zwischen den Verfügungen von Sommer 2001 (Leistungszusprache) und Mai 2002 (Leistungseinstellung) eine Änderung in den tatsächlichen Verhältnissen eingetreten ist, die nach <ref-law> eine revisionsweise Aufhebung der zugesprochenen Rente rechtfertigt.
2.1 Das kantonale Gericht hat auf die übereinstimmenden Berichte der Klinik Y._ von Oktober 2001 und April 2003 sowie der Klinik X._ von Januar/Februar 2003 abgestellt und eine vollständige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit angenommen. Der Beschwerdeführer ist demgegenüber der Auffassung, die Ärzte der Klinik X._ hätten im Bericht von Januar/Februar 2003 ausgeführt, der status vor dem Unfall von September 1999 sei nicht erreicht worden. Zudem sei nicht berücksichtigt worden, dass die Schmerzen der rechten Hand bereits im Ruhezustand vorlägen, weshalb eine ganztägiger Arbeitseinsatz nicht realistisch sei, und die Klinik Y._ im Bericht von 8. August 2001 die Aufnahme einer leidensangepassten Tätigkeit bloss auf einem Niveau von 50 % empfohlen habe. Schliesslich gehe der Hausarzt Dr. med. G._ in seinem aktuellen Bericht vom 23. August 2003 davon aus, dass eine Arbeitsfähigkeit von weniger als 50 % vorliege.
2.2 Wie den internen Unterlagen der IV-Stelle entnommen werden kann, ist der Rentenanspruch offenbar aufgrund der Folgen des zweiten Unfalles von September 1999 sowie der im März 2000 und März 2001 erfolgten Operationen am Handgelenk bejaht worden. Mit Bericht vom 7. Juni 2001 hält die Klinik Y._ zuhanden der Verwaltung fest, dass infolge Andauerns der Rehabilitationsphase nach der Operation von März 2001 eine Stellungnahme bezüglich Arbeitsfähigkeit zum jetzigen Zeitpunkt wenig sinnvoll sei. Am 7. August 2001 führt sie weiter aus, die Funktionalität der rechten Hand sei nun für leichtere Tätigkeiten durchaus gegeben, was im Bericht vom 8. August 2001 an den Anwalt des Versicherten dahin umschrieben wird, es bestehe "sicherlich eine Arbeitsfähigkeit in einer leichteren, wechselnd durchführbaren Tätigkeit, die vor allem auch linksseitig erledigt werden kann. Diesbezüglich wäre der Patient auch motiviert eine Arbeit zu finden, ein initialer Einstieg auf dem Niveau von 50 % scheint sinnvoll mit gutem Potential der Steigerung." In einem weiteren Bericht vom 2. Oktober 2001 bestätigt die Klinik Y._ die Arbeitsfähigkeit in einer leidensangepassten Tätigkeit und spezifiziert sie durch das gleichentags ausgefüllte Formular "Arbeitsbelastbarkeit". Diese fachärztlichen Berichte sind für die streitigen Belange umfassend, beruhen auf allseitigen Untersuchungen, berücksichtigen die geklagten Beschwerden und sind in Kenntnis der Vorakten abgegeben worden; zudem sind die Ausführungen in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtend und enthalten begründete Schlussfolgerungen (<ref-ruling> Erw. 3a). Auch wenn im Bericht vom 8. August 2001 bloss ein "initialer Einstieg auf dem Niveau von 50 %" als sinnvoll erachtet wird, liegt kein Widerspruch zu den anderen Arztberichten vor: Diese Relativierung stellt offensichtlich keine grundsätzliche Beschränkung in dem Sinne dar, dass vor dem definitiven Entscheid ein Arbeitsversuch unternommen werden sollte, sondern ist vielmehr als Einstiegshilfe oder Berücksichtigung einer Angewöhnungsphase aufzufassen, hat doch die Klinik Y._ in den anderen Arztberichten und insbesondere im detaillierten Formular "Arbeitsbelastbarkeit" keinen entsprechenden Hinweis angebracht. Dies wäre jedoch der Fall gewesen, wenn eine Unsicherheit über das Ausmass der Arbeitsfähigkeit bestanden hätte oder ein Arbeitsversuch notwendig gewesen wäre. Damit ist davon auszugehen, dass spätestens ab Spätsommer/Herbst 2001 eine vollständige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit bestanden hat.
Für das vorliegende Verfahren nicht massgebend sind - entgegen der (stillschweigenden) Auffassung von Vorinstanz und Beschwerdeführer - die während des vorinstanzlichen Verfahrens ergangenen Berichte der Klinik X._ vom 22. Januar und 10. Februar 2003 sowie der dazu Stellung nehmende Bericht der Klinik Y._ vom 22. April 2003. Diese ärztlichen Ausführungen beziehen sich auf den Klinikaufenthalt des Versicherten vom 20. November 2002 bis zum 8. Januar 2003 und betreffen damit einen Zeitpunkt nach Verfügungserlass im Mai 2002, welcher die zeitliche Grenze der richterlichen Überprüfungsbefugnis darstellt (<ref-ruling> Erw. 1b). Dasselbe gilt für den letztinstanzlich eingereichten Bericht des Dr. med. G._ vom 23. August 2003, hält doch der Hausarzt explizit fest, die Arbeitsfähigkeit sei "zur Zeit", d.h. also im Sommer 2003, deutlich eingeschränkt. Aber auch wenn der Bericht der Klinik X._ vom 10. Februar 2003 zu berücksichtigen wäre, könnte der Versicherte daraus nichts zu seinen Gunsten ableiten: Es wird zwar in diesem Bericht explizit ausgeführt, der status quo ante sei nach dem Unfall von September 1999 nicht erreicht worden, jedoch bestehe eine vollständige Arbeitsfähigkeit in einer leidensangepassten Tätigkeit, was sich mit der Auffassung der Klinik Y._ in deren Berichten von August und Oktober 2001 deckt.
2.3 Da für die Zeit ab Herbst 2001 von einer vollständigen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit ausgegangen werden kann (Erw. 2.2 hievor), bleibt abzuklären, ob sich der Grad der Invalidität seit Rentenbeginn in einer für den Anspruch erheblichen Weise geändert hat.
2.3.1 Das Einkommen ohne Gesundheitsschaden (Valideneinkommen) ist aufgrund des im Jahre 1995 zuletzt verdienten Lohnes zu bestimmen, den die SUVA als zuständiger Unfallversicherer anhand des Lohnbuchauszuges auf Fr. 61'206.- festgesetzt hat. Für den Zeitpunkt der verfügten Renteneinstellung ist eine Anpassung an die Lohnentwicklung vorzunehmen (1996: + 1.2 % [Die Volkswirtschaft 12/2001 S. 81 Tabelle B10.2 Zeile F], 1997: + 0.2 %, 1998: + 0.4 %, 1999: - 0.5 %, 2000: + 1.9 %, 2001: + 2.8 %, 2002: + 1.6 %; Die Volkswirtschaft 1/2004 S. 95 Tabelle B10.2 Zeile F), was einen Betrag von Fr. 65'987.25 ergibt.
2.3.2 Da kein tatsächlich erzieltes Erwerbseinkommen vorliegt, ist das Einkommen nach Eintritt der Invalidität (Invalideneinkommen) grundsätzlich anhand statistischer Angaben (vgl. <ref-ruling> Erw. 3b/bb) oder auf Grund der DAP (Blätter dokumentierter Arbeitsplätze) zu bestimmen. Entgegen Vorinstanz und Verwaltung kann jedoch nicht auf die Angaben der DAP abgestellt werden, da nur drei DAP-Blätter der Bestimmung des massgebenden Betrages zugrunde liegen und nach der neuesten Rechtsprechung in der Regel auf mindestens fünf DAP-Blätter abzustellen ist (<ref-ruling>); ein Abweichen vom Regelfall ist nicht ausgewiesen. Damit ist das Invalideneinkommen anhand der Angaben der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung 2000 festzusetzen. Gemäss Tabelle A1 beträgt der Zentralwert für im privaten Sektor auf Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) bei einer wöchentlichen Arbeitszeit von 40 Stunden beschäftigte Männer monatlich Fr. 4437.- brutto. Dieser Betrag ist der Lohnentwicklung bis zum Zeitpunkt der Renteneinstellung 2002 anzupassen (2001: + 2.5 %, 2002: + 1.8 %; Die Volkswirtschaft 1/2004 S. 95 Tabelle B10.2 Zeile A) und auf die in diesem Jahr betriebsübliche Wochenarbeitszeit von 41.7 Stunden (Die Volkswirtschaft 1/2004 S. 94 Tabelle B9.2 Zeile A) umzurechnen, was einen Betrag von Fr. 4826.55 monatlich und Fr. 57'918.60 jährlich ergibt. Bei einem Valideneinkommen von Fr. 65'987.25 (Erw. 2.3.1 hievor) resultiert somit auch dann ein rentenausschliessender Invaliditätsgrad von unter 40 % (<ref-law>), wenn vom Invalideneinkommen der maximal mögliche behinderungsbedingte Abzug von 25 % (<ref-ruling> Erw. 5b/cc) vorgenommen wird, so dass die Höhe dieses Abzuges letztlich offen bleiben kann.
2.4 In Anwendung des <ref-law> haben Vorinstanz und Verwaltung angesichts des Verfügungserlasses im Mai 2002 die Rente zu Recht auf Ende Juni 2002 aufgehoben.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. März 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: