Sachverhalt:
A. Mit Verfügung vom 17. April 2009 hob die IV-Stelle des Kantons Zürich die M._ (Jg. 1961) am 28. März 1994 rückwirkend ab 1. März 1992 zugesprochene und - nach von Amtes wegen durchgeführten Rentenrevisionsverfahren - am 8. August 1997 sowie am 31. Oktober 2002 bestätigte ganze Invalidenrente per Ende Mai 2009 auf.
B. Hiegegen liess M._ Beschwerde ans Sozialversicherungsgericht des Kantons Zürich erheben. Die IV-Stelle begründete die verfügte Rentenaufhebung in ihrer Beschwerdeantwort erstmals ausdrücklich damit, dass die Rentengewährung von Anfang an zweifellos unrichtig gewesen sei und deshalb in Wiedererwägung gezogen wurde. Das kantonale Gericht wies die Beschwerde des Versicherten mit Entscheid vom 23. September 2010 ab.
C. Hiegegen lässt M._ Beschwerde führen und in materieller Hinsicht im Wesentlichen beantragen, es sei die IV-Stelle unter Aufhebung der diesbezüglich abweisenden Dispositiv-Ziffer 1 des kantonalen Entscheids zu verpflichten, ihm weiterhin "eine Rente auf der Basis von 100 %" zu gewähren. Als Eventualbegehren regt er eine Rückweisung der Sache - unter Berücksichtigung seiner Ausführungen in der Beschwerdeschrift - an die Vorinstanz an. Zudem ersucht er um unentgeltliche Rechtspflege.
Die IV-Stelle sieht von einer Stellungnahme zur Sache ab. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung kann es von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. 2.1 Das kantonale Gericht hat die gesetzlichen Voraussetzungen für einen Rentenanspruch einschliesslich der hiezu ergangenen Rechtsprechung zutreffend dargelegt, worauf verwiesen wird. Richtig sind auch seine Ausführungen über die Rentenanpassung auf dem Wege der Revision (<ref-law>) einerseits oder der Wiedererwägung wegen zweifelloser Unrichtigkeit der ursprünglichen Rentenzusprache und erheblicher Bedeutung einer Korrektur (<ref-law>) andererseits. Dasselbe gilt für die Erwägungen zur beweisrechtlichen Lage bei der Ermittlung des medizinisch relevanten Sachverhalts.
2.2 Wie zuvor schon die Verwaltung ist die Vorinstanz zum Schluss gelangt, dass im massgeblichen Vergleichszeitraum seit der erstmaligen Rentenzusprache am 28. März 1994 bis zur angefochtenen Rentenaufhebung am 17. April 2009 keine wesentliche Änderung der medizinischen oder wirtschaftlichen Verhältnisse ausgewiesen sei, welche eine Rentenrevision nach <ref-law> begründen könnte; dies ergebe sich aus einem Vergleich der Befunderhebungen und Diagnosestellungen im Bericht des Hausarztes Dr. med. K._ vom 21. März 1993 und im Kurzgutachten des Spitals X._ vom 8. November 1993 einerseits und in der Stellungnahme des Rheumatologen Dr. med. W._ vom 13. Dezember 2007 sowie der Expertise des Dr. med. A._ vom 3. Juni 2008 andererseits.
2.3 In einem weiteren Schritt prüfte die Vorinstanz, ob die verfügte Rentenaufhebung wegen zweifelloser Unrichtigkeit der ursprünglichen Leistungszusprache vom 28. März 1994 gerechtfertigt sein könnte. Dies bejahte sie mit der Begründung, zweifellose Unrichtigkeit einer Rentenverfügung könne auch bei unrichtiger Feststellung im Sinne der Würdigung des Sachverhalts gegeben sein, worunter namentlich eine unvollständige Sachverhaltsermittlung auf Grund einer klaren Verletzung des Untersuchungsgrundsatzes falle; eine auf keiner nachvollziehbaren ärztlichen Einschätzung der massgeblichen Arbeitsfähigkeit beruhende Invaliditätsbemessung sei nicht rechtskonform und die gestützt darauf erlassene Verfügung deshalb zweifellos unrichtig. Das Vorliegen solcher Umstände erklärte sie damit, dass in der Expertise des Spitals X._ vom 8. November 1993 nicht schlüssig dargelegt werde, weshalb dem Beschwerdeführer angesichts der festgehaltenen Befunde und Diagnosen eine "hochprozentige Arbeitsfähigkeit in optimal beschwerdeangepasster Tätigkeit" damals nicht möglich gewesen sein sollte, zumal der Hausarzt Dr. med. K._ von einer doch wesentlichen Restarbeitsfähigkeit ausgegangen zu sein scheint und der damalige Arbeitgeber die Stelle nicht aus gesundheitlichen Gründen gekündigt habe. Weiter befand das Gericht, Dr. med. A._ habe am 3. Juni 2008 überzeugend dargelegt, dass schon seit 1991 eine 100%ige Arbeitsfähigkeit in angepasster Tätigkeit anzunehmen gewesen wäre. Weil die Verwaltung dennoch eine andauernde Arbeitsunfähigkeit von 80 % angenommen und - ohne weitere Abklärungen - eine Rente zugesprochen habe, waren die entsprechenden Rentenverfügungen vom 28. März 1994 nach Auffassung des kantonalen Gerichts zweifellos unrichtig.
2.4 Zur Hauptsache gestützt auf die Angaben des Dr. med. A._ vom 3. Juni 2008, der für körperlich leichte und wechselbelastende Arbeiten ohne ausgesprochene Bewegungsstereotypien und mit der Möglichkeit abwechselnd zu sitzen, zu stehen und kurze Strecken zu gehen, ein medizinisch-theoretisch praktisch uneingeschränktes Leistungsvermögen attestiert hatte, ermittelte die Vorinstanz darauf mittels Einkommensvergleichs nach <ref-law> für die Zukunft - gleich wie zuvor schon die Verwaltung - einen rentenausschliessenden Invaliditätsgrad von 22 %.
3. Der Beschwerdeführer macht in seiner Rechtsschrift geltend, es bestehe kein Grund zur Annahme einer zweifellosen Unrichtigkeit der ursprünglichen Rentenzusprache vom 28. März 1994, weshalb sein Leistungsanspruch nicht aufgehoben werden dürfe.
3.1 Eine voraussetzungslose Neubeurteilung der invaliditätsmässigen Voraussetzungen genügt nach ständiger Rechtsprechung nicht, um eine Invalidenrente auf dem Wege der Wiedererwägung herabzusetzen oder gar aufzuheben. Eine Reduktion der Rente unter dem Titel "Wiedererwägung" kann nur bei Unvertretbarkeit der ursprünglichen Rentenzusprache erfolgen, drohte die Wiedererwägung in einer Vielzahl langjähriger Rentenbezugsverhältnisse ansonsten doch zum Instrument einer solchen voraussetzungslosen Neuprüfung zu werden, was sich mit dem Wesen der Rechtsbeständigkeit formell zugesprochener Dauerleistungen nicht vertrüge. Zurückhaltung bei der Annahme zweifelloser Unrichtigkeit ist stets dann geboten, wenn der Wiedererwägungsgrund eine materielle Anspruchsvoraussetzung - wie hier die Invalidität - betrifft, deren Beurteilung massgeblich auf Schätzungen oder Beweiswürdigungen und damit auf Elementen beruht, die notwendigerweise Ermessenszüge aufweisen. Eine vor dem Hintergrund der seinerzeitigen Rechtspraxis vertretbare Beurteilung der invaliditätsmässigen Anspruchsvoraussetzungen kann nicht zweifellos unrichtig sein (Urteil 9C_621/2010 vom 22. Dezember 2010 E. 2.2.2 mit Hinweisen).
3.2 Vorliegend war die Interpretation der medizinischen Grundlagen, welche für die Rentenzusprache vom 28. März 1994 massgebend waren, durchaus vertretbar. Die medizinischen Akten, welche Grundlage für die erstmalige Rentenverfügung bildeten, mögen aus heutiger Sicht zwar als eher dürftig erscheinen. Die Verwaltung konnte sich seinerzeit für die Annahme einer gesundheitsbedingten Beeinträchtigung des Leistungsvermögens von 80 % aber immerhin auf den Bericht des Hausarztes Dr. med. K._ vom 21. März 1993 und das Gutachten des Spitals X._ vom 8. November 1993 stützen. Beide sind nicht sehr ausführlich ausgefallen, enthalten aber, entgegen der vorinstanzlichen Argumentation, keine Ungereimtheiten oder gar Widersprüche, welche zwingend Anlass zu weitergehenden Abklärungen hätten geben müssen. Während Dr. med. K._ noch von einer vollständigen Arbeitsunfähigkeit ausgegangen ist, hat das Spital X._ die verbliebene Restarbeitsfähigkeit in leidensangepasster Tätigkeit auf 20 % veranschlagt. Es kann daher angesichts der damaligen Verwaltungs- und Rechtspraxis, nach welcher sich die rückblickende Beurteilung Jahre zurückliegender Rentenverfügungen zu richten hat, nicht gesagt werden, die gesundheitlichen Verhältnisse seien vor Erlass der Rentenverfügungen vom 28. März 1994 ungenügend abgeklärt worden.
3.3 Die Vorinstanzen haben dem Beschwerdeführer demnach den Rentenanspruch zu Unrecht mit der Begründung aberkannt, die frühere Leistungszusprache sei im Sinne von <ref-law> zweifellos unrichtig gewesen und daher in Wiedererwägung zu ziehen. Da unbestrittenermassen auch ein Revisionsgrund nach <ref-law> aktenmässig nicht ausgewiesen ist, hält die angefochtene Rentenaufhebung einer bundesgerichtlichen Überprüfung nicht stand. Von einer näheren Prüfung der weiteren Einwände des Beschwerdeführers kann unter diesen Umständen abgesehen werden.
4. Bei diesem Verfahrensausgang sind die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) von der beschwerdegegnerischen IV-Stelle als unterliegender Partei zu tragen (<ref-law>), welche dem obsiegenden Beschwerdeführer für das bundesgerichtliche Verfahren überdies eine Parteientschädigung zu bezahlen hat (<ref-law>). Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege wird damit gegenstandslos. Für das vorinstanzliche Verfahren wird das kantonale Gericht die Kosten- und Entschädigungsfolgen entsprechend dem Ausgang des letztinstanzlichen Prozesses neu festzusetzen haben (Art. 67 und 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 23. September 2010 und die Verfügung der IV-Stelle des Kantons Zürich vom 17. April 2010 werden aufgehoben und es wird festgestellt, dass der Beschwerdeführer über den 1. Mai 2009 hinaus Anspruch auf eine ganze Rente hat.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. Juli 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl