Sachverhalt:
A. Mit Verfügung vom 9. Dezember 2008 sprach die IV-Stelle Zug W._ (Jg. 1941) für die Zeit ab 1. Juli 2003 bis zum Beginn des Altersrentenanspruchs am 1. Juni 2006 eine halbe Invalidenrente zu. Vom gesamten Nachzahlungsbetrag von Fr. 63'368.- wurden Fr. 22'707.60 zwecks Verrechnung mit einer wegen Überversicherung geltend gemachten Rückforderung an die Zürich Versicherungen (nachstehend: "Zürich") überwiesen.
B. Das Verwaltungsgericht des Kantons Zug wies die gegen die Drittauszahlung an die "Zürich" gerichtete Beschwerde mit Entscheid vom 11. März 2010 ab.
C. W._ lässt Beschwerde führen mit den Anträgen, es sei festzustellen, dass eine Verrechnung seiner Rentenansprüche mit dem geltend gemachten Anspruch der "Zürich" wegen Überversicherung durch die IV-Stelle unzulässig ist und kein direktes Rückforderungsrecht der "Zürich" gegenüber der IV-Stelle besteht; unter Aufhebung des kantonalen Entscheids sei die IV-Stelle zu verpflichten, ihm über den bereits zugesprochenen Betrag hinaus weitere Fr. 22'707.60 zuzüglich Verzugszins zu bezahlen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann eine - für den Ausgang des Verfahrens entscheidende (vgl. Art. 97 Abs. 1 BGG) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Zu prüfen ist, ob die IV-Stelle einen Teil, nämlich Fr. 22'707.60, der dem Beschwerdeführer zustehenden Rentennachzahlung von insgesamt Fr. 63'368.- direkt zwecks Verrechnung mit einer Rückforderung wegen Überversicherung an die "Zürich" auszahlen darf. Diese macht in ihrem Antrag auf Drittauszahlung vom 21. Oktober 2008 geltend, vom 1. Juli 2003 bis am 30. Juni 2004 und vom 1. bis am 20. September 2004 in diesem Umfang als Kollektivtaggeldversicherer gemäss Versicherungsvertragsgesetz (VVG) vorschussweise Krankentaggelder ausgerichtet zu haben, welche dem Beschwerdeführer angesichts der nunmehr erfolgten Rentenzusprache durch die Invalidenversicherung nicht zustünden.
2.1 Das kantonale Gericht hat zunächst festgestellt, die "Zürich" könne die beantragte Verrechnung nicht auf eine gesetzliche oder vertraglich vereinbarte Bestimmung stützen, aus welcher sich ein eindeutiges Rückforderungsrecht ergebe, welches sich gegen die Invalidenversicherung richtet. Weil der Beschwerdeführer seine Einverständniserklärung im Antrag der "Zürich" auf Drittauszahlung vom 21. Oktober 2008 verweigert hatte, prüfte - und bejahte - die Vorinstanz darauf die Frage, ob die bereits am 14. Juni 2003 unterzeichnete "Vereinbarung und Vollmacht" genüge, um die streitige Drittauszahlung zu rechtfertigen. In diesem von der "Zürich" vorgelegten Dokument hatte der Beschwerdeführer unterschriftlich bestätigt, er ermächtige die zuständige Ausgleichskasse, ein allfälliges Nachzahlungsguthaben mit zu viel gezahlten Taggeldleistungen der "Zürich" direkt zu verrechnen.
2.2 Der Beschwerdeführer bezeichnet den angefochtenen Entscheid insofern als bundesrechtswidrig, als die Vorinstanz die am 14. Juni 2003 unterzeichnete "Vereinbarung und Vollmacht" als Grundlage qualifiziert habe, aus welcher sich einerseits ein eindeutiges Rückforderungsrecht gegenüber der IV-Stelle ergebe und welche andererseits eine rechtsgenügliche Zustimmung zur Drittauszahlung beinhalte. Wie in vorstehender E. 2.1 erwähnt, hat das kantonale Gericht das Bestehen eines eindeutigen Rückforderungsrechts der "Zürich" im Sinne von Art. 85bis Abs. 2 lit. b IVV, das sich mithin aus dem der Leistungserbringung zu Grunde liegenden Gesetz oder Vertrag ergeben würde (vgl. Urteil I 632/03 des Eidgenössischen Versicherungsgerichts vom 9. Dezember 2005, E. 3.3.3), aber gerade nicht bejaht, sondern gegenteils mit klarer Begründung ausdrücklich verneint. Auf die erstgenannte Rüge ist daher nicht weiter einzugehen. Einzuräumen ist lediglich, dass die Vorinstanz in der Folge - etwas missverständlich vielleicht - von einem "klaren Rückforderungsrecht" spricht, das sich aus der Vereinbarung vom 14. Juni 2003 ergebe. Dieses ist indessen keineswegs - wie der Beschwerdeführer anzunehmen scheint - gleichzusetzen mit dem in Art. 85bis Abs. 2 lit. b IVV verlangten "eindeutigen Rückforderungsrecht", welches sich - wie erwähnt - aus einem Gesetz oder Vertrag ergeben muss, welche die später zu einer Verrechnung führende Leistungsausrichtung überhaupt erst begründeten. Zu prüfen bleibt demnach einzig, ob sich der Beschwerdeführer darauf behaften lassen muss, am 14. Juni 2003 seine Einwilligung zur nunmehr streitigen Drittauszahlung erteilt zu haben.
3. 3.1 Nach Art. 22 Abs. 1 des auf den 1. Januar 2003 in Kraft getretenen und hier anwendbaren ATSG ist der Anspruch auf Leistungen weder abtretbar noch verpfändbar (Satz 1); jede Abtretung oder Verpfändung ist nichtig (Satz 2). Nach Abs. 2 derselben Bestimmung können Nachzahlungen von Leistungen des Sozialversicherers jedoch dem Arbeitgeber oder der öffentlichen oder privaten Fürsorge abgetreten werden, soweit diese Vorschusszahlungen leisten (lit. a), oder aber einer Versicherung, die Vorleistungen erbringt (lit. b).
3.2 Die Zulässigkeit der hier zur Diskussion stehenden Drittauszahlung an einen Krankentaggeldversicherer nach VVG beurteilt sich, wie Vorinstanz und Verwaltung richtig erkannt haben, nach Art. 85bis IVV, welcher seine gesetzliche Grundlage nunmehr in Art. 22 Abs. 2 ATSG findet. Abs. 1 dieser Verordnungsbestimmung sieht vor, dass Arbeitgeber, Einrichtungen der beruflichen Vorsorge, Krankenversicherungen, öffentliche oder private Fürsorgestellen oder Haftpflichtversicherungen mit Sitz in der Schweiz, welche im Hinblick auf eine Rente der Invalidenversicherung Vorschussleistungen erbracht haben, verlangen können, dass die Nachzahlung dieser Rente bis zur Höhe ihrer Vorschussleistung verrechnet und an sie ausbezahlt wird (Satz 1); die bevorschussenden Stellen haben ihren Anspruch mit besonderem Formular frühestens bei der Rentenanmeldung und spätestens im Zeitpunkt der Verfügung der IV-Stelle geltend zu machen (Satz 3). Nach Abs. 2 von Art. 85bis IVV gelten als Vorschussleistungen freiwillige Leistungen, sofern die versicherte Person zu deren Rückerstattung verpflichtet ist und sie der Auszahlung der Rentennachzahlung an die bevorschussende Stelle schriftlich zugestimmt hat (lit. a), sowie vertraglich oder auf Grund eines Gesetzes erbrachte Leistungen, soweit aus dem Vertrag oder dem Gesetz ein eindeutiges Rückforderungsrecht infolge der Rentennachzahlung abgeleitet werden kann (lit. b). Die Nachzahlung darf nach Abs. 3 der Verordnungsbestimmung der bevorschussenden Stelle höchstens im Betrag der Vorschussleistung und für den Zeitraum, in welchem diese erbracht worden ist, ausbezahlt werden.
3.3 Gemäss der mit <ref-ruling> eingeleiteten Rechtsprechung waren mangels einer gesetzlichen Bestimmung, welche die Abtretung von Nachzahlungen der Sozialversicherungen erlaubt hätte, an die Einwilligung des Versicherten zu einer nach der Praxis "praeter legem" zulässigen Drittauszahlung strenge Anforderungen zu stellen. Sie durfte nur Rechtswirksamkeit entfalten, wenn die Tragweite der Zustimmungserklärung klar ersichtlich war. Der bereits im Zeitpunkt der Anmeldung zum Rentenbezug - in welchem der Anspruch gegenüber der Invalidenversicherung noch gänzlich unbestimmt ist - erfolgten Zustimmung konnte deshalb nicht dieselbe Bedeutung wie einer Erklärung nach Bekanntgabe der konkret zugesprochenen Versicherungsleistung beigemessen werden. Die Zustimmung zu einer Drittauszahlung konnte daher erst dann rechtsgültig erteilt werden, wenn der entsprechende Beschluss der Invalidenversicherungs-Kommission (heute: IV-Stelle) ergangen war. Im Rahmen des daraufhin einsetzenden Vorbescheidverfahrens hatte die Verwaltung bis zum Verfügungserlass Gelegenheit, eine allfällige Einwilligung in eine Drittauszahlung einzuholen oder, falls diese vom Antrag stellenden Dritten beigebracht wurde, deren Eingang abzuwarten (<ref-ruling> E. 2b S. 92 f.).
3.4 Als Antwort auf <ref-ruling> erliess der Verordnungsgeber Art. 85bis IVV mit dem Randtitel "Nachzahlungen an bevorschussende Dritte" (E. 3.2 hievor), welcher am 1. Januar 1994 in Kraft getreten und seither lediglich auf den 1. Januar 1999 hin redaktionell bereinigt worden ist. Erst mit der Ergänzung des Art. 50 IVG durch den im Rahmen der 10. AHV-Revision per 1. Januar 1997 neu hinzugefügten und bis zum 31. Dezember 2002 in Kraft gestandenen Abs. 2 hat diese Verordnungsbestimmung ihre gesetzliche Grundlage erhalten (vgl. zum Ganzen <ref-ruling> E. 5.2.2 S. 7 und dortige Hinweise auf Rechtsprechung und Doktrin). Art. 50 Abs. 2 IVG schuf indessen für die Leistungsberechtigten noch keine Abtretungsmöglichkeit, sondern liess lediglich die Ausrichtung von Nachzahlungen an Drittpersonen oder Drittstellen zu, falls diese im Hinblick auf Leistungen der Invalidenversicherung Vorschussleistungen erbracht hatten (so genannte Drittauszahlung). Mit dem Inkrafttreten des ATSG am 1. Januar 2003 ist die bis dahin geltende Fassung des Art. 50 Abs. 2 IVG aufgehoben worden und damit die frühere gesetzliche Grundlage für Art. 85bis IVV dahingefallen. Neu ist Art. 22 Abs. 2 ATSG, in welche Bestimmung aArt. 50 Abs. 2 IVG sinngemäss übernommen wurde, als Art. 85bis IVV auf Gesetzesstufe legitimierende Norm zu betrachten (<ref-ruling> E. 5.2 S. 289 f. und Urteil des damaligen Eidgenössischen Versicherungsgerichts I 428/05 vom 18. April 2006 E. 4.3; je mit Hinweisen).
4. 4.1 Der am 1. Januar 2003 in Kraft getretene Art. 22 ATSG (E. 3.1 hievor) statuiert in Abs. 1 das bis anhin nur in einzelnen Versicherungszweigen (vgl. <ref-ruling> E. 5.3 S. 8) ausdrücklich verankerte Verbot von Abtretung und Verpfändung von Sozialversicherungsleistungsansprüchen, lässt neu in Abs. 2 aber bezüglich der Abtretung auch eine Ausnahme zu für Arbeitgeber und für die öffentliche oder private Fürsorge (lit. a) sowie für Versicherungen (lit. b), soweit diese Vorschusszahlungen leisten oder Vorleistungen erbringen. Mit Art. 22 Abs. 2 ATSG besteht nunmehr eine ausdrückliche gesetzliche Grundlage, welche die Abtretung von Nachzahlungen der Leistungen des Sozialversicherers in bestimmten Schranken zulässt (<ref-ruling> E. 5.3 mit Hinweis). Daneben bleibt für die in Art. 85bis IVV genannten Institutionen, die auf Grund von ihnen erbrachter Leistungen später eine Verrechnung mit Nachzahlungen der Invalidenversicherung beanspruchen, als Alternative weiterhin das Ersuchen um eine Drittauszahlung nach Art. 85bis IVV möglich. Im Anwendungsbereich dieser Bestimmung bedarf es des Instituts der Abtretung nicht, da mit dem gesetzlichen Rückforderungsrecht die vom Drittansprecher erbrachte Leistung zur Vorschussleistung und die für eine Verrechnung erforderliche Wechselseitigkeit der zur Diskussion stehenden Forderungen kraft Gesetz herbeigeführt werden (<ref-ruling> E. 5.2.2 S. 7 f. mit Hinweisen).
4.2 In <ref-ruling> hatte sich das Bundesgericht mit einer Abtretung im Sinne von Art. 22 Abs. 2 lit. a ATSG zu befassen, wobei sich die Frage stellte, ob es die mit Art. 22 ATSG veränderte Rechtslage erlaube, eine Zessionserklärung schon vor dem Beschluss der IV-Stelle rechtsgültig abzugeben (<ref-ruling> E. 5.3 S. 8). Dabei erkannte das Gericht zunächst, dass der Begriff der Abtretung, wie er in Art. 22 ATSG verwendet wird, mit demjenigen der Zession nach Art. 164 ff. OR übereinstimme und kein Grund für eine im Rahmen von Art. 22 Abs. 2 ATSG abweichende Betrachtungsweise hinsichtlich der für deren Zulässigkeit erforderlichen Voraussetzungen bestehe (<ref-ruling> E. 6.1 S. 8 ff. mit zahlreichen Hinweisen auf Literatur und Rechtsprechung). Unter Beachtung von klarem Wortlaut und Zweck der Bestimmung sowie des gesetzgeberischen Willens gelangte es zum Schluss, dass im Geltungsbereich von Art. 22 Abs. 2 lit. a ATSG die zivilrechtlichen Abtretungsregeln zur Anwendung zu bringen seien und dass dem mit <ref-ruling> aufgestellten Erfordernis des Erkennens der Tragweite einer Einwilligung in die Drittauszahlung einer Rentennachzahlung (E. 3.3 hievor) bei einer Abtretungserklärung keine über die zivilrechtlichen Zessionsregeln hinausgehende Bedeutung zukomme; im Interesse von Rechtssicherheit und Rechtsklarheit seien aber gewisse Anforderungen an die Bestimmbarkeit der zedierten Forderung zu stellen. Als solche nannte es die Bezugnahme der schriftlichen Abtretungserklärung auf die Invalidenrente, wobei es auf den Zeitpunkt der Erklärung nicht ankomme (<ref-ruling> E. 6.2 S. 10). Das Gericht erachtete es auch für die Gültigkeit einer Abtretung nicht als von Belang, dass die zu verrechnenden Leistungen seitens eines Drittansprechers in subjektiver Kenntnis eines bei der Invalidenversicherung bereits eingereichten oder noch zu stellenden Rentenantrages ausgerichtet worden waren; ebenso spiele es keine Rolle, ob der Versicherte anlässlich der Unterzeichnung seiner Abtretungserklärung Kenntnis eines bereits bestehenden, aber erst später zu verfügenden Nachzahlungsanspruches hatte (<ref-ruling> E. 6.3 S. 10 f.).
5. Diese zur im Bereich des Sozialversicherungsrechts neu geschaffenen Abtretungsmöglichkeit (E. 4.1 hievor) ergangene Rechtsprechung kann auf die Anforderungen an eine - weniger weit gehende - Einwilligung zu einer Drittauszahlung im Sinne von Art. 85bis IVV ohne weiteres übertragen werden. Vor diesem Hintergrund ist unter den in der Beschwerdeschrift aufgegriffenen Aspekten nachfolgend die Bedeutung der Zustimmung des Beschwerdeführers vom 14. Juni 2003 zur Drittauszahlung einer künftigen Rentennachzahlung der Invalidenversicherung an die "Zürich" zu prüfen.
5.1 Der Beschwerdeführer ist der Ansicht, sein bereits am 14. Juni 2003 erklärtes Einverständnis mit einer Drittauszahlung könne entgegen der vorinstanzlichen Auffassung nicht als rechtsgenügliche Zustimmung im Sinne von Art. 85bis Abs. 2 lit. a IVV gewertet werden, weil er es zu einer Zeit erklärt habe, da ihm Bestand und Umfang eines allfällig zu erwartenden Nachzahlungsanspruchs gegenüber der Invalidenversicherung noch gar nicht bekannt waren und insbesondere auch noch kein entsprechender Beschluss der zuständigen Organe der Invalidenversicherung vorlag. Mit dieser Argumentation vermag er nach dem in <ref-ruling> auszugsweise publizierten Urteil 9C_27/2008 vom 20. Oktober 2008 nicht durchzudringen.
5.1.1 Wie das Bundesgericht in <ref-ruling> festgehalten hat, müssen für eine rechtsgenügliche Abtretung der Inhalt der künftigen Forderung, die Person des Schuldners und der Rechtsgrund der Forderung genügend bestimmt oder zumindest bestimmbar sein. Mit Bezug auf die Globalzession muss dieses Erfordernis im Zeitpunkt des Entstehens oder der Geltendmachung der Forderung und nicht schon bei Abgabe der Abtretungserklärung erfüllt sein. Hingegen hat die Abtretungserklärung selbst alle Elemente aufzuweisen, welche die Bestimmung von Inhalt, Schuldner und Rechtsgrund im Zeitpunkt des Entstehens der Forderung erlauben (<ref-ruling> E. 6.1.2 S. 9 f.). Das Gleiche gilt für die Einverständniserklärung bezüglich einer Drittauszahlung.
5.1.2 Der Beschwerdeführer hatte sich bereits im April 2002 bei der Invalidenversicherung zum Leistungsbezug angemeldet. Am 14. Juni 2003 erklärte er gegenüber der "Zürich" in einem als "Vereinbarung und Vollmacht" betitelten, persönlich unterzeichneten Dokument, er ermächtige die zuständige Ausgleichskasse, ein allfälliges Nachzahlungsguthaben mit zu viel gezahlten Taggeldleistungen der "Zürich" direkt zu verrechnen. Diese - ausdrücklich an die Organe der Invalidenversicherung gerichtete - Erklärung zuhanden der "Zürich" bezieht sich unmissverständlich auf die schon beantragte Invalidenrente, welche schliesslich mit Verfügung vom 9. Dezember 2008 für die Zeit ab 1. Juli 2003 bis 1. Juni 2006 auch zugesprochen wurde. Im Zeitpunkt der Zustimmung zu dieser Drittauszahlung am 14. Juni 2003 waren die künftigen Rentenbetreffnisse, aus welchen sich die mit einer Rückforderung der "Zürich" zur Verrechnung zu bringenden späteren Rentennachzahlung zusammensetzt, hinreichend bestimmbar, wobei es genügt, dass sich Ausmass und Höhe der Leistungen aus den anwendbaren gesetzlichen Bestimmungen, namentlich des IVG ableiten lassen (vgl. <ref-ruling> E. 7.2 S. 11 f.).
5.2 In formeller Hinsicht beanstandet der Beschwerdeführer die vom kantonalen Gericht als rechtsgenüglich betrachtete Einwilligung vom 14. Juni 2003 in eine Drittauszahlung, weil diese nicht auf dem dafür vorgesehenen Formular erfolgt sei. Es trifft zwar zu, dass nach früherer Rechtsprechung aus der Formulierung in Art. 85bis Abs. 1 Satz 3 IVV geschlossen wurde, die Zustimmungserklärung zu einer Drittauszahlung müsse auf einem besonderen Formular erteilt werden. Diesbezüglich weist die IV-Stelle in ihrer Vernehmlassung vom 17. Juni 2010 indessen zutreffend darauf hin, dass Art. 85bis Abs. 1 IVV lediglich für den Antrag einer Drittauszahlung, nicht aber für die Einwilligung des Leistungsberechtigten in eine solche die Verwendung eines bestimmten Formulars verlangt. Dessen ungeachtet könnte einer solchen Verordnungsbestimmung im heutigen Zeitpunkt angesichts der anzustrebenden Vereinfachung ohnehin nurmehr Ordnungscharakter beigemessen werden, was das Eidgenössische Versicherungsgericht im Übrigen schon in <ref-ruling> E. 6.2 S. 249 noch unter der früheren Rechtslage erkannt hat (vgl. auch Urteil I 256/06 vom 26. September 2007, E. 4.3). Wenn das von der Verwaltung für den Antrag auf Drittauszahlung herausgegebene Formular "Verrechnung von Nachzahlungen der AHV/IV" auch eine Rubrik enthält, in welcher der Leistungsberechtigte seine Zustimmung zur vom Drittansprecher gewünschten Drittauszahlung erklären kann, mag es der Einfachheit und Klarheit des Verwaltungsverfahrens zwar dienlich sein, wenn davon Gebrauch gemacht wird. Davon aber die Gültigkeit einer schriftlichen Einwilligung in eine Drittauszahlung abhängig zu machen, müsste mangels sachlicher Rechtfertigung doch als übertrieben formalistisch bezeichnet werden. Dass die Erklärung des Beschwerdeführers vom 14. Juni 2003 auf einem andern als dem von der Verwaltung dafür vorgesehenen Formular erteilt wurde, vermag deren Gültig- und Wirksamkeit demnach nicht zu beeinträchtigen.
5.3 Was die vom Beschwerdeführer erhobene Rüge der unvollständigen und gar willkürlichen Sachverhaltsfeststellung anbelangt, ist in Erinnerung zu rufen, dass die zunächst der Verwaltung und im Beschwerdefall dem kantonalen Gericht obliegenden Erhebungen tatsächlicher Art einzig Gegebenheiten betreffen, die für den in der Sache zu fällenden Entscheid wesentlich sind. Soweit rechtserheblich, ist der Sachverhalt vorliegend aber durchaus genügend abgeklärt worden, weshalb die diesbezügliche Kritik des Beschwerdeführers ganz offensichtlich unbegründet ist. Sämtliche Vorbringen, welche den Umfang der Leistungspflicht der "Zürich" betreffen, über welche zunächst einzig diese zu befinden hat, sind, wie dem Beschwerdeführer schon mehrfach erläutert, nicht im sozialversicherungsrechtlichen Verfahren zu klären.
5.4 Die "Zürich" hat dem Beschwerdeführer mit ihrer Rückforderung eine Aufstellung der im Zeitraum, für welchen die Invalidenversicherung später eine Rente zugesprochen hat, geleisteten Zahlungen zukommen lassen, womit die zeitliche Kongruenz der Leistungen, die zur Verrechnung gebracht werden sollen, als erstellt gelten kann. Angesichts der Einwilligung des Beschwerdeführers vom 14. Juni 2003 - aus welcher im Übrigen ohne weiteres auf den Vorschusscharakter dieser Leistungen zu schliessen ist - stand damit einer Verrechnung im von der "Zürich" beantragten Ausmass nichts entgegen, womit nicht zuletzt auch dem Zweck von Art. 85bis IVV, welcher darin besteht, als Koordinationsnorm Doppelzahlungen von Privat- und Sozialversicherungen für den gleichen Zeitraum zu vermeiden, entsprochen werden konnte. Der vorinstanzliche Entscheid ist nicht zu beanstanden.
6. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten (Art. 65 BGG) vom Beschwerdeführer als unterliegender Partei zu tragen (Art. 66 Abs. 1 BGG). Weil nicht der Leistungsanspruch gegenüber der Invalidenversicherung an sich, sondern einzig der Auszahlungsmodus streitig war, richtet sich deren Höhe nicht nach Art. 65 Abs. 4 lit. a, sondern nach Abs. 2 und 3 lit. b BGG, womit bei ihrer Festsetzung dem Streitwert von Fr. 22'707.60 massgebende Bedeutung zukommt.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'700.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, der Ausgleichskasse des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. November 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Krähenbühl