Sachverhalt:
A. Mit zwei Verfügungen vom 13. August 2004 sprach die IV-Stelle des Kantons Zürich T._ (Jg. 1960) bei einem Invaliditätsgrad von 65 % für die Zeit ab 1. Mai 2003 eine halbe und ab 1. Januar 2004 eine Dreiviertelsrente zu. Als Ergebnis eines 2006 eingeleiteten Revisionsverfahrens hob sie die Rente nach durchgeführtem Vorbescheidverfahren mit Verfügung vom 3. Januar 2008 auf.
B. Nachdem das Sozialversicherungsgericht des Kantons Zürich die gegen die Verfügung vom 3. Januar 2008 erhobene Beschwerde mit der substituierten Begründung der Wiedererwägung wegen zweifelloser Unrichtigkeit der ursprünglichen Rentenverfügung mit Entscheid vom 7. Oktober 2009 abgewiesen hatte, hiess das Bundesgericht die hiegegen gerichtete Beschwerde wegen Verletzung des Anspruches auf rechtliches Gehör mit Urteil vom 17. August 2010 gut, hob den vorinstanzlichen Entscheid auf und wies die Sache zur Neuprüfung an das kantonale Gericht zurück. Nach Gewährung des rechtlichen Gehörs schützte dieses - wie schon die IV-Stelle in der angefochtenen Verfügung bei einem Invaliditätsgrad von lediglich 37 % - die beanstandete Rentenaufhebung mit Entscheid vom 29. Oktober 2010 wiederum mit der substituierten Begründung der Wiedererwägung.
C. Mit Beschwerde ans Bundesgericht lässt T._ die ersatzlose Aufhebung des kantonalen Entscheids vom 29. Oktober 2010 sowie der Revisionsverfügung der IV-Stelle vom 3. Januar 2008 beantragen; eventuell sei ihm für die Zeit ab 1. März 2008 bei einem Invaliditätsgrad von 46 % eine Viertelsrente zuzusprechen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Das Bundesgericht hat die Sache mit Urteil vom 17. August 2010 an das kantonale Gericht zurückgewiesen, damit dieses dem Beschwerdeführer zur vorgesehenen Abweisung seiner Beschwerde mit der substituierten Begründung der Wiedererwägung das rechtliche Gehör gewähre. Dies hat die Vorinstanz getan, indem sie am 6. September 2010 die Möglichkeit bot, innert dreissig Tagen eine Stellungnahme zur beabsichtigten Verfahrenserledigung einzureichen. Davon hat der heutige Beschwerdeführer mit Eingabe vom 8. Oktober 2010 Gebrauch gemacht, worauf das kantonale Gericht den nunmehr angefochtenen Entscheid vom 29. Oktober 2010 erliess. In diesem wies es die Beschwerde gegen die Revisionsverfügung vom 3. Januar 2008 wiederum mit der substituierten Begründung ab, die ursprüngliche Rentenzusprache vom 13. August 2004 sei zweifellos unrichtig gewesen und deren Berichtigung von erheblicher Bedeutung. Aufgrund der neuerlich erhobenen Beschwerde ans Bundesgericht streitig und zu prüfen ist damit nach wie vor die Aufhebung der ab 1. Januar 2004 ausgerichteten Dreiviertelsrente und in diesem Zusammenhang allenfalls die Frage, ob der Versicherte wegen dauernder Arbeitsunfähigkeit weiterhin (in geringerem Masse) rentenberechtigt ist.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung kann es von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Im Übrigen wendet es das Recht von Amtes wegen an (<ref-law>), prüft indessen - unter Beachtung der Begründungspflicht in Beschwerdeverfahren (Art. 42 Abs. 1 und 2 BGG) - grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 1.4.1 S. 254).
3. Die massgeblichen gesetzlichen Bestimmungen und die von der Rechtsprechung weiter konkretisierten Grundlagen zur Beurteilung des streitigen Rentenanspruches und insbesondere der verfügten, vorinstanzlich bestätigten Rentenaufhebung sind im angefochtenen Entscheid, soweit hier von Belang, sowohl in materiell- als auch in formell-, namentlich beweisrechtlicher Hinsicht richtig dargelegt worden. Darauf wird verwiesen.
3.1 Das kantonale Gericht ist unter Berücksichtigung der Vorbringen des Beschwerdeführers in dessen Stellungnahme vom 8. Oktober 2010 (E. 1 hievor) erneut zum Schluss gelangt, dass seit der ursprünglichen Rentenverfügung vom 13. August 2004 bis zur streitigen Leistungsaufhebung am 3. Januar 2008 weder in gesundheitlicher noch in erwerblicher Hinsicht revisionsrelevante Veränderungen der tatsächlichen Verhältnisse eingetreten sind, sondern bezüglich der verbliebenen Restarbeitsfähigkeit lediglich eine unterschiedliche ärztliche Einschätzung eines an sich unveränderten Sachverhalts vorliegt. Diese Betrachtungsweise ist angesichts der medizinischen Aktenlage seitens des Bundesgerichts nicht zu beanstanden. Ohne Verbesserung der gesundheitlichen und/oder der erwerblichen Verhältnisse und damit ohne Änderung des Invaliditätsgrades aber ist eine Herabsetzung oder Aufhebung des bisherigen Leistungsanspruches auf dem Wege der Rentenrevision im Sinne von <ref-law> nicht möglich.
3.2 In einem weiteren Schritt hat die Vorinstanz geprüft, ob die angefochtene Rentenaufhebung aus anderen Gründen gerechtfertigt sein könnte. Dabei hat sie erkannt, dass die erstmalige Invaliditätsbemessung mit Rentenzusprache auf völlig unzureichender Aktenlage basiert. Dies folgerte sie im Wesentlichen daraus, dass sich keine medizinische Begründung finden lasse für die auch von Dr. med. M._, Leitender Arzt für Rheumatologie am Krankenhaus X._, am 13. November 2003 übernommene Einschätzung des behandelnden Chiropraktikers Dr. H._ und der Ärzte der Klinik Y._, wonach die bisherige Tätigkeit als Berufschauffeur zwar nicht mehr, andere, leichte und wechselbelastende Arbeiten hingegen noch zu 50 % zumutbar seien; diese Annahme lasse sich angesichts des Fehlens jeglicher objektiver Befunde nicht nachvollziehen. Des Weiteren führte sie an, es sei nicht schlüssig, weshalb sich der Beschwerdeführer trotz angeblich zugenommener Schmerzen ab Ende August 2002 nur noch chiropraktischer Behandlung unterzogen hat, ohne adäquate medikamentöse Hilfe zu beanspruchen, und weshalb eine psychiatrische Untersuchung unterblieben ist, welche die - organisch nicht begründbaren - zeitlichen und leistungsmässigen Limiten allenfalls hätte erklären können. Zusammenfassend hielt das kantonale Gericht fest, entgegen den beschwerdeführerischen Einwänden in der Stellungnahme vom 8. Oktober 2010 hätte unter diesen Umständen seinerzeit nicht auf die Schlussfolgerungen des Dr. med. M._ abgestellt werden dürfen und auch der Austrittsbericht der Klinik Y._ vom 20. November 2003 beinhalte keine rechtsgenügliche Aussage über eine anhaltende, über die allgemeine Dekonditionierung hinausgehende, medizinisch begründete Arbeitsunfähigkeit. Als zweifellose Unrichtigkeit einer ursprünglichen Rentenverfügung, welche zu einer Wiedererwägung Anlass geben kann, bezeichnete es in der Folge auch die unrichtige Feststellung "im Sinne der Würdigung des Sachverhalts", worunter insbesondere eine unvollständige Sachverhaltsabklärung zufolge klarer Verletzung des Untersuchungsgrundsatzes falle. Eine auf keiner nachvollziehbaren ärztlichen Einschätzung der massgeblichen Restarbeitsfähigkeit beruhende Invaliditätsbemessung betrachtete es als nicht rechtskonform und die entsprechende Leistungsverfügung deshalb als zweifellos unrichtig im wiedererwägungsrechtlichen Sinne.
3.3 Diese Beurteilung erweckt insofern Bedenken, als der Rentenzusprache im Jahre 2004 gründliche und einlässliche ärztliche Untersuchungen vorangingen, über deren Ergebnisse der Verwaltung umfassende medizinische Berichte und Gutachten vorlagen, so etwa die Stellungnahmen des Dr. med. M._ vom 19. Februar und 21. Dezember 2003, des Chiroprakpraktikers Dr. med. H._ vom 9. April 2003 sowie der Klinik Y._ vom 20. November 2003 und des nach einem am 6. Mai 2002 erlittenen Auffahrunfall erstbehandelnden Hausarztes Dr. med. B._ vom 25. Mai 2003. Diese jeweils von Fachleuten der betreffenden Disziplinen erstellten Dokumente bescheinigen durchwegs eine mindestens 50%ige Arbeitsunfähigkeit selbst für leidensangepasste leichte und wechselbelastende Erwerbstätigkeiten. Der Chiropraktiker Dr. med. H._ und der Hausarzt Dr. med. B._ gingen sogar von einer vollständigen Arbeitsunfähigkeit aus. Gestützt auf diese Unterlagen nahm die IV-Stelle bei der Ermittlung des Invaliditätsgrades ein hälftig reduziertes Leistungsvermögen an und billigte dem Versicherten wegen funktional zumindest teilweise limitierter Fähigkeiten zusätzlich einen 20%igen behinderungsbedingten Leidensabzug von den nach statistischen Werten gemäss Lohnstrukturerhebung des Bundesamtes für Statistik für das Jahr 2006 (LSE 2006) ermittelten Vergleichseinkommen nach <ref-law> zu.
3.4 Entgegen der vorinstanzlichen Auffassung vermag dieses Vorgehen angesichts der damaligen Aktenlage zu überzeugen, zumal kein ärztliches Attest vorlag, das die Annahme einer höheren Arbeitsfähigkeit hätte rechtfertigen lassen. Eine voraussetzungslose Neubeurteilung der invaliditätsmässigen Voraussetzungen genügt nach ständiger Rechtsprechung nicht, um eine Invalidenrente auf dem Wege der Wiedererwägung herabzusetzen oder gar aufzuheben, denn dies vertrüge sich nicht mit dem Wesen der Rechtsbeständigkeit formell zugesprochener Dauerleistungen. Zurückhaltung bei der Annahme zweifelloser Unrichtigkeit ist geboten, wenn der Wiedererwägungsgrund eine materielle Anspruchsvoraussetzung - wie hier die Invalidität - betrifft, deren Beurteilung massgeblich auf Schätzungen oder Beweiswürdigungen und damit auf Elementen beruht, die notwendigerweise Ermessenszüge aufweisen. Eine vor dem Hintergrund der seinerzeitigen Rechtspraxis vertretbare Beurteilung der invaliditätsmässigen Anspruchsvoraussetzungen ist nicht zweifellos unrichtig.
3.5 Die vorinstanzliche Feststellung, dass die Begründung für die von Dr. med. M._ bescheinigte 50%ige Arbeitsfähigkeit bei leichten, wechselbelastenden Tätigkeiten eher knapp ausgefallen sei und dass von zusätzlichen Abklärungen namentlich psychiatrischer Art allenfalls noch nützliche Erkenntnisse für die Beurteilung der verbliebenen Restarbeitsfähigkeit hätten erwartet werden können, mag zwar zutreffen. Es ginge aber zu weit, deswegen gleich die Verwertbarkeit der Ergebnisse der von der Verwaltung veranlassten, doch umfangreichen Abklärungen mit der Vorinstanz in Abrede zu stellen. Dagegen sprechen immerhin die im Wesentlichen weitgehende Übereinstimmung der ärztlichen Beurteilungen des Gesundheitsschadens und der dennoch erhalten gebliebenen Leistungsfähigkeit sowie das Fehlen jeglicher Hinweise auf höhere Leistungskapazitäten des Beschwerdeführers im Zeitpunkt der erstmaligen Rentenzusprache. Daran vermag die im Rahmen des Rentenrevisionsverfahrens eingeholte Expertise des Zentrums Z._ vom 31. Oktober 2007, welche unter anderem auch die Ergebnisse der durchgeführten Evaluation der funktionellen Leistungsfähigkeit (EFL) beinhaltet und schliesslich eine 70%ige Arbeitsfähigkeit attestiert, nichts zu ändern. Bei im Wesentlichen unverändert gebliebenen gesundheitlichen Befunden kann ihr lediglich die Bedeutung einer im Ergebnis abweichenden Beurteilung des nämlichen Sachverhalts beigemessen werden, welche die ursprüngliche Rentenzusprache zwar als fragwürdig, ja als unrichtig erscheinen lassen mag. Von einer zweifellosen Unrichtigkeit, welche gestützt auf <ref-law> eine Wiedererwägung ermöglichen würde, kann indessen nicht gesprochen werden. Die Vorinstanz hat dem Beschwerdeführer deshalb den Rentenanspruch zu Unrecht mit der Begründung aberkannt, die frühere Leistungszusprache sei im Sinne von <ref-law> zweifellos unrichtig gewesen und daher in Wiedererwägung zu ziehen. Da unbestrittenermassen auch ein Revisionsgrund nach <ref-law> aktenmässig nicht ausgewiesen ist, hält die angefochtene Rentenaufhebung einer bundesgerichtlichen Überprüfung nicht stand.
4. Bei diesem Verfahrensausgang sind die Gerichtskosten (Art. 65 Abs. 1 und Abs. 4 lit. a BGG) von der Beschwerdegegnerin als unterliegender Partei zu tragen (<ref-law>), welche dem Beschwerdeführer für das bundesgerichtliche Verfahren überdies eine Parteientschädigung schuldet (<ref-law>). Dies gilt auch für das vorinstanzliche Verfahren, für welches das kantonale Gericht die Kosten- und Entschädigungsfolgen entsprechend dem Ausgang des letztinstanzlichen Prozesses neu festzusetzen haben wird (Art. 67 und 68 Abs. 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. Oktober 2010 und die Verfügung der IV-Stelle des Kantons Zürich vom 3. Januar 2008 werden aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 19. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Krähenbühl